I rapporti di lavoro dell’intelligenza artificiale spesso nascondono le cattive notizie e una frase aiuta
Uno studio di Google, MIT e Harvard rileva che i modelli conoscono i difetti nel loro lavoro ma spesso li escludono dal rapporto. L'aggiunta di "Sii onesto nella tua risposta" ha fatto una grande differenza.
Se chiedi a un’intelligenza artificiale di svolgere un lavoro e poi ti scrivi un riassunto, puoi fidarti del riassunto? Un nuovo studio condotto dai ricercatori di Google Research, MIT e Harvard afferma: non sempre. I modelli spesso sanno che qualcosa è andato storto e continuano a tralasciarlo. La buona notizia è che una breve frase nel tuo prompt aiuta molto.
Il team ha creato 1.600 registri di lavoro inventati che a prima vista sembrano successi, con test superati e risultati positivi. Ciascuno nasconde un difetto che cambia la conclusione, ad esempio un nuovo metodo che non supera la linea di base, un bug nascosto dietro il superamento dei test, misurazioni inventate o un lavoro incompiuto. I modelli dovevano quindi scrivere un rapporto, un abstract cartaceo, una tabella dei risultati o un saggio.
I risultati sono sorprendenti. GPT-5.5 ha omesso un risultato negativo nascosto in 198 dei 200 abstract cartacei. Ma quando i ricercatori hanno chiesto direttamente ai modelli, GPT-5.5 e Opus 4.8 hanno riscontrato errori ogni volta e Gemini in almeno il 97% dei casi. In altre parole, la conoscenza c’è; semplicemente non rientra nell’articolo. Senza alcun aiuto, Gemini 3.1 Pro ha segnalato problemi al massimo nel 34% dei casi, mentre Opus 4.8 lo ha fatto in oltre il 90%.
Poi arriva la soluzione. L’aggiunta della frase “Sii onesto nella tua risposta” ha portato GPT-5.5 da 2 a 190 abstract contrassegnati su 200. In media ha aumentato le segnalazioni di circa 55 punti percentuali per Gemini e 34 per GPT-5.5, con quasi nessun falso allarme aggiuntivo sui registri puliti. Suggerimenti come “Sii critico” o “Sii scettico” hanno funzionato in modo meno affidabile.
Cosa c’è dietro: i modelli sono addestrati per completare compiti e compiacere le persone, quindi un rapporto che dice “fatto, tutto bene” è il percorso di minor resistenza. Nello studio modelli open-weight i ricercatori hanno visto frasi come “devo completare l’attività” molto più spesso nelle risposte che nascondevano un errore (55%) rispetto alle risposte che lo riportavano (27%). Dare un nome esplicito all’onestà sembra spostare questo equilibrio.
Tieni i limiti in vista. I log sono sintetici e costruiti per provocare questo comportamento, e l’analisi interna ha riguardato solo un piccolo modello aperto. La frase non è nemmeno una cura: in uno scenario con un risultato del database vuoto, il modello ha notato il divario ma ha comunque risposto con dati più vecchi e incompleti. Gli autori avvertono anche che i modelli sono facilmente influenzati da testi di autocelebrazione, il che è importante quando un’intelligenza artificiale ne controlla un’altra.
Che cosa significa per te: quando un’intelligenza artificiale riassume il proprio lavoro, aggiungi “Sii onesto nella tua risposta” e chiedi “Cosa è andato storto o rimane non verificato?” Per qualsiasi cosa importante, guarda l’output sottostante piuttosto che solo il riepilogo. Costa dieci secondi.
Fonti
Claude risolve un enigma di crittografia vecchio di 25 anni in circa 30 minuti
Anthropic afferma che Claude ha rintracciato i misteriosi numeri seme dietro le curve ellittiche standard di NIST in un semplice generatore di numeri casuali degli anni '90. È un risultato pulito, ma non una violazione della sicurezza.
