Studio Anthropic: gli esperti hanno adottato le opinioni casuali di un agente AI e le hanno sentite come le proprie
In un esperimento Anthropic, 50 esperti hanno seguito la preferenza di lancio della moneta di un agente AI per l'86% delle volte sulle scelte di analisi, e la maggior parte ha ritenuto che il risultato fosse ancora in gran parte loro.
Ecco un risultato su cui vale la pena sedersi. Anthropic ha chiesto a 50 esperti di inferenza causale (un ramo della statistica che cerca di capire cosa realmente causa cosa) di analizzare i dati di una cooperativa agricola immaginaria, utilizzando un agente AI come assistente. La preferenza dell’agente su ogni chiamata di giudizio veniva stabilita segretamente mediante il lancio di una moneta. Su quattro decisioni di analisi, gli esperti hanno scelto la parte dell’agente nell’86% dei casi, mentre il caso avrebbe dato circa il 50%.
Il compito era decidere se un programma volontario di consulenza agricola dovesse essere ampliato, terminato o esteso. Ogni decisione prevedeva due opzioni ragionevoli e all’agente non era consentito mentire o nascondere dati. Si limitava a sostenere la parte assegnatagli e di solito dichiarava per prima la sua posizione. Quando le persone avevano già preso una decisione, un agente in disaccordo le commuoveva comunque: circa il 60% cambiava quando non era d’accordo, contro il 6% quando era d’accordo, anche se questa cifra si basa solo su 38 casi. L’esperienza, l’abilità auto-valutata e l’istruzione non prevedevano chi avrebbe seguito l’agente.
La parte che risalta è la proprietà. Circa il 77% dei partecipanti ha ripetuto almeno una delle argomentazioni dell’agente nelle proprie spiegazioni, a volte quasi parola per parola, ma solo il 15% ha menzionato l’IA. Circa la metà ha affermato che la raccomandazione finale sembrava più propria che dell’agente. La raccomandazione finale in sé è stata influenzata solo modestamente, ma le scelte di analisi precedenti hanno modellato i numeri che l’hanno guidata.
Cosa c’è dietro: Questa non è una storia sull’intelligenza artificiale che non funziona bene. Le analisi effettuate con l’agente presentavano gravi difetti in 3 casi su 50 (6%), contro 6 su 11 (55%) senza, sebbene il gruppo senza AI fosse piccolo e meno esperto, quindi il confronto dimostra poco. La preoccupazione è più sottile: se molte squadre utilizzassero lo stesso modello con le stesse inclinazioni predefinite, potrebbero giungere alle stesse conclusioni e scambiarle per accordo. E la revisione umana funziona come controllo indipendente solo “se il loro giudizio è il loro”, come affermano gli autori.
Un giusto avvertimento: le inclinazioni degli agenti sono state deliberatamente rafforzate, lo studio copre un compito, un campo e un modello (Claude Opus 4.8) e 50 persone rappresentano un piccolo campione. Gli effetti nel mondo reale potrebbero essere minori.
Che cosa significa per te: Non è necessario smettere di utilizzare l’intelligenza artificiale per l’analisi o la scrittura. Ma puoi prendere in prestito le idee dei ricercatori. Crea la tua visione approssimativa prima di chiedere all’assistente. Chiedigli di sostenere il caso più forte per entrambe le opzioni, non solo il suo preferito. E quando spieghi una decisione a qualcuno, nota se il ragionamento è davvero tuo. Se gestisci una squadra, decidi quali giudizi dovrebbero spettare a una persona che ha avuto il tempo di pensare prima.
Fonti
Fonti: https://www.anthropic.com/research/agents-judgment-calls
Cisco dà a un 27enne token AI illimitati per riscrivere il suo codice legacy
Il capo prodotto di Cisco afferma che un giovane ex fondatore ha quattro settimane per dimostrare che l'intelligenza artificiale può riscrivere il 98% del vecchio codice dell'azienda, un obiettivo riportato solo dall'account di Cisco.
