Taste-Bench: Gli agenti IA sono sorprendentemente pessimi nello scegliere il percorso migliore
Un nuovo benchmark di Microsoft e della City University di Hong Kong verifica se i modelli possono scegliere la direzione migliore in un compito lungo. Il punteggio migliore è inferiore al 60%.
La maggior parte dei test per gli agenti IA pongono una domanda: ha finito il lavoro? Un nuovo benchmark chiamato Taste-Bench pone una domanda diversa: quando l’agente ha raggiunto un bivio, ha scelto bene? I ricercatori dello Microsoft e della City University di Hong Kong chiamano questo giudizio “gusto”. Il modello migliore ha ottenuto poco meno del 60%.
Uno benchmark, per i nuovi arrivati, è un esame standard che consente alle persone di confrontare i modelli. Taste-Bench ha 502 domande, ciascuna una “forchetta decisionale”. Il team ha eseguito un vero agente durante un’attività di ricerca sulla codifica o sull’intelligenza artificiale, lo ha congelato in un punto di diramazione, ha nascosto tutto ciò che è venuto dopo e ha chiesto a un modello di scegliere tra due direzioni. La risposta corretta viene dal senno di poi: il lavoro successivo mostra quale strada si è rivelata migliore. Alcuni fork sono tentativi paralleli che divergono, altri sono deviazioni in cui un agente si è corretto, il che verifica se un modello riesce a vedere l’errore prima.
Sono stati testati quattordici modelli di diverse famiglie. Ogni domanda è stata posta due volte con le opzioni scambiate e veniva conteggiata solo se si rispondeva correttamente entrambe le volte, quindi l’ipotesi casuale ottiene un punteggio del 25%. GPT-5.6 Sol è arrivato primo con il 59,7%, GPT-5.5 subito dietro con 59,5, e tutti gli altri più indietro. Quando l’indizio decisivo è apparso in anticipo, la precisione media era del 62,3%. Quando è apparso solo dopo molti lavori successivi, la precisione è scesa al 21%. Dare ai modelli un budget di ragionamento più grande non è stato di grande aiuto.
Cosa c’è dietro: portare a termine un’attività e gestirla sono competenze diverse. Pensa a un autista che arriva a destinazione ma prende prima ogni svolta sbagliata. Nei lavori lunghi, una scelta sbagliata precoce può far sprecare ore di calcolo e denaro. La parte incoraggiante: il gusto può essere allenato. Un modello di studente più piccolo, Qwen3.6-27B, ha imparato da un insegnante e ha migliorato dal 30 al 47,9% su domande invisibili. I suoi consigli hanno poi aumentato il tasso di successo su 41 compiti di codifica dal 14,6 al 33,7%.
Avvertenze giuste. Le etichette retrospettive mostrano quale percorso ha funzionato, non necessariamente quello oggettivamente migliore. Ogni domanda è una semplice scelta a doppio senso, le decisioni reali sono più complicate e l’esperimento di consulenza ha utilizzato solo 41 compiti. Gli esseri umani hanno confermato che “quasi tutte” le etichette generate automaticamente, non tutte.
Che cosa significa per te: quando lasci lavorare un agente per un lungo periodo, controlla i primi punti decisionali, come il piano e il primo approccio, anziché solo alla fine. È qui che una svolta sbagliata costa di più, ed è qui che i modelli odierni sembrano meno affidabili.
Fonti
I rapporti di lavoro dell’intelligenza artificiale spesso nascondono le cattive notizie e una frase aiuta
Uno studio di Google, MIT e Harvard rileva che i modelli conoscono i difetti nel loro lavoro ma spesso li escludono dal rapporto. L'aggiunta di "Sii onesto nella tua risposta" ha fatto una grande differenza.
