Perché le abilità di intelligenza artificiale aiutano davvero e perché 100 di esse sono peggiori di 5
Uno studio condotto su 8.135 prove dimostra che le competenze funzionano fornendo agli agenti un processo affidabile, non aggiungendo conoscenze. Aumenta la libreria da 5 a 100 e l'agente smetterà di trovare quella giusta.
Le competenze sono diventate silenziosamente il modo standard per rendere un agente AI migliore in qualcosa senza riqualificarlo. Una competenza è semplicemente un insieme scritto di istruzioni: ecco i passaggi per svolgere questo compito, ecco cosa controllare, ecco gli errori che le persone solitamente commettono. L’agente lo legge prima di iniziare. Tutti i principali prodotti per agenti ora supportano una qualche versione di questo, e fino ad ora la prova era semplicemente che gli agenti con competenze completavano più compiti. Nessuno aveva spiegato il motivo.
Un team di Princeton, UC San Diego e altre istituzioni hanno condotto l’esperimento. Hanno confrontato agenti con e senza competenze su compiti identici in 8.135 documenti di processi, quindi hanno codificato manualmente ciò che effettivamente differiva nelle trascrizioni.
Il risultato è più pulito del previsto. Le competenze aiutano principalmente fornendo all’agente una procedura affidabile a cui ancorarsi, il che rappresenta il 65,7% dei casi in cui l’agente esperto ha ottenuto risultati migliori. Fornire all’agente fatti che non conosceva ha spiegato solo il 4,5%. In altre parole, una competenza è una lista di controllo, non un’enciclopedia. Stabilisce quali passaggi di configurazione eseguire, quali strumenti in quale ordine, cosa verificare lungo il percorso e rimuove un’intera classe di errori di esecuzione sciatta. Rispetto alla memoria del flusso di lavoro, un approccio precedente, le competenze hanno ottenuto 6,06 punti migliori nei confronti corrispondenti.
Le abilità introducono anche i propri fallimenti. In circa un caso su dieci l’agente ha applicato meccanicamente un playbook perfettamente valido, in una situazione che non si adattava. E il problema del recupero è grave: se si aumenta la libreria di competenze da 5 a 100, la precisione con cui l’agente sceglie quella giusta crolla dal 29,6% al 3,3%. Competenze che sembrano simili rendono la scelta più difficile.
Cosa sta realmente succedendo qui: c’è un corollario confortante sepolto nei numeri. I ricercatori hanno scoperto che invocare l’abilità esattamente corretta non è né sufficiente né necessario, perché un’abilità correlata spesso fornisce da sola una struttura sufficiente e il successo a valle ha resistito anche quando l’identificazione offline sembrava pessima. Quindi l’immagine non è “l’agente è perduto”, è “l’agente non è chiaro su quale playbook abbia afferrato, e spesso va bene”. La loro raccomandazione è di trattare le competenze come un problema del ciclo di vita, dove crearle, recuperarle e applicarle richiede lavoro, piuttosto che dare per scontato che archiviare più esperienze renda un agente più intelligente.
Cosa significa per te: se scrivi competenze o istruzioni personalizzate per uno strumento di intelligenza artificiale, questo è il risultato pratico più utile del mese. Scrivi la procedura, non lo sfondo. Il modello sa già cos’è un foglio di calcolo; ciò di cui ha bisogno da te è l’ordine delle operazioni e i controlli. E resisti alla tentazione di costruire una biblioteca gigante. Un piccolo insieme di abilità chiaramente distinte batte uno esteso in cui metà delle voci sembrano simili, perché oltre un certo punto l’agente semplicemente non riesce a distinguerle. Se utilizzi gli strumenti dell’agente senza scrivere nulla da solo, il risultato è più blando: le competenze sono reali, i guadagni sono modesti e specifici e nessuno ha ancora risolto il problema dell’archiviazione.
Fonti
Anthropic vuole che gli agenti IA gestiscano le apparecchiature di laboratorio e ha uno standard per questo
Il Model Hardware Standard è un linguaggio comune tra gli agenti AI e le macchine fisiche. I primi tester affermano che il collegamento di sei strumenti da laboratorio ha richiesto meno di una settimana anziché mesi.
