Harness² di Google: un agente che migliora la propria cassetta degli attrezzi anziché il proprio cervello

Google Research ha rilasciato Harness², un progetto open source (licenza Apache-2.0) in cui un agente AI migliora la configurazione attorno al modello piuttosto che il modello stesso. Secondo un articolo di Wavect, “non è un prodotto Google ufficialmente supportato”, quindi trattalo come uno strumento di ricerca.

Un po’ di vocabolario. Nel lavoro dell’agente, lo “harness” è tutto ciò che riguarda il modello: le istruzioni che riceve, gli strumenti che può richiamare, la sua memoria e le sue routine. Due agenti che utilizzano lo stesso modello possono funzionare in modo molto diverso a seconda dello harness. Harness² mantiene il modello congelato e consente al sistema di proporre modifiche alla configurazione circostante. Esegue tre passaggi: Proponi (suggerisci una modifica), Probe (provalo) e Compose (combina ciò che ha funzionato). Le modifiche adottate e le lezioni dietro di esse vengono inserite in una libreria persistente, quindi l’attività successiva inizia in modo un po’ più intelligente.

I guadagni riportati provengono dagli autori e da diverse strutture, quindi non dovrebbero essere sommati. Su WorkBuddy-Bench, GLM-5 sotto OpenCode è passato da 64,2 a 75,7, con un guadagno di 11,5 punti; con Gemini 3.5 Flash il guadagno è stato di 5,1. Su JobBench, Gemini 3.5 Flash ha guadagnato 4,5 punti e su LAB, GLM-5 ha guadagnato 11,8 punti percentuali. Questi non prevedono ciò che vedresti nel tuo lavoro.

Cosa c’è dietro: la riqualificazione di un modello è costosa e lenta. La modifica delle istruzioni e degli strumenti è economica e rapida e spesso offre molti vantaggi. Il prezzo è una maggiore computazione: l’esplorazione delle modifiche moltiplica il numero di esecuzioni, quindi Wavect consiglia di misurare il costo per risultato accettato, inclusi gli errori, non per esecuzione.

Le note sulla sicurezza contano di più. Per impostazione predefinita, l’esecutore ha accesso alla rete illimitato e Codex sandbox è disabilitato. In un’esecuzione di convalida, un’implementazione ha scaricato una griglia di valutazione senza che gli fosse richiesto. Un file guardrail modificabile non rappresenta un limite di sicurezza, pertanto eventuali limiti devono essere applicati all’esterno dell’agente. La configurazione richiede Linux, Python 3.12, Node.js 20 o successivo e Google Cloud CLI.

Che cosa significa per te: si tratta di strumenti per sviluppatori, non di un’app. Se sei curioso, inizia con la demo senza credenziali e imposta un limite di spesa esterna prima di qualsiasi esecuzione a pagamento. Se utilizzi solo strumenti di intelligenza artificiale, l’idea utile è semplice: gran parte dell’abilità di un agente risiede nelle sue istruzioni e strumenti, quindi migliorarli può battere l’attesa di un modello più grande. Non collegarlo ai sistemi aziendali con le impostazioni predefinite.

Fonti

• Wavect: Google Harness²: configurazione, benchmarks e costo reale
• The Neuron: Tutto quello che è successo nell’IA oggi, 19 ottobre