Gli agenti dell'intelligenza artificiale hanno realizzato software di ricerca 60 volte più veloci e si sbagliavano in modi che nessuno si accorse per settimane

Gran parte della scienza funziona su software che è stato scritto una volta, per un articolo, da persone che non avevano tempo per mantenerlo. Un nuovo rapporto sul campo di OpenAI e una serie di partner accademici documenta otto tentativi di consegnare questo problema agli agenti di codifica dell’intelligenza artificiale, e i risultati tagliano entrambe le direzioni in un modo che vale la pena leggere attentamente.

Le accelerazioni non sono piccole. RustQC, che ha riunito quindici diversi strumenti di controllo qualità in un unico programma, ha ridotto i tempi di esecuzione da 15 ore e 34 minuti a 14 minuti e 54 secondi, più di sessanta volte più velocemente. HelixForge, una riscrittura che ha spostato la generazione di dati genomici sulle schede grafiche, ha completato una pipeline di test 59,6 volte più velocemente dello strumento che ha sostituito. Una ricostruzione dell’allineamento del genoma STAR, più di 20.000 righe di C e C++ che nessuno mantiene più, è stata reimplementata nel linguaggio Rust e concordava con l’originale nel 99,815% delle letture dei test.

Poi l’altra metà. In una riscrittura di un pacchetto statistico chiamato bayesm, un agente ha invertito un parametro di controllo in modo che il programma utilizzasse silenziosamente il reciproco dei valori previsti e un secondo bug si trovava nel calcolo stesso. Nessuno dei due è apparso nell’output ordinario. I ricercatori li hanno trovati solo eseguendo un test di calibrazione su migliaia di set di dati sintetici con risposte note. Philip Ewels, che ha guidato RustQC, ha descritto gli agenti come “eloquenti, convincenti e sicuramente sbagliati in modi che sono facili da non notare” e non ha mai lasciato che un modello giudicasse la propria accuratezza.

Cosa c’è dietro? La divisione del lavoro che ha funzionato è stata coerente in tutti gli otto progetti: gli esseri umani hanno definito l’obiettivo, i criteri di successo e i test, gli agenti hanno scritto il codice. Questo ordinamento è l’intera scoperta. Un agente di codifica ottimizza per produrre qualcosa che funzioni e superi qualunque controllo gli venga assegnato, che è un obiettivo diverso dalla produzione di qualcosa di corretto. Quando il controllo è una suite di test progettata dagli esseri umani in modo indipendente, i due obiettivi si allineano. Quando al modello viene chiesto di valutare il proprio lavoro, questi si disgregano e il fallimento è silenzioso perché il risultato sembra ancora plausibile. Questo non è esclusivo della scienza. Uno studio condotto da METR ha rilevato che gli attuali manutentori del progetto rifiuterebbero circa la metà delle soluzioni che un benchmark di codifica ampiamente utilizzato ottiene come superate. Gli autori del rapporto sono attenti a dire che i loro otto casi non sono uno studio rappresentativo, e segnalano un secondo problema: le riscritture economiche sono facili da produrre e costose da mantenere per sempre.

Cosa significa per te: il modello viene trasferito direttamente a tutto ciò che deleghi a un modello, che si tratti di codice, foglio di calcolo o riepilogo di una ricerca. Decidi come controllare il risultato prima di richiederlo e rendi il controllo indipendente dalla cosa da controllare. Chiedere a un modello se la sua risposta è giusta è quasi inutile, perché lo stesso ragionamento che ha prodotto l’errore lo confermerà. Per chiunque scriva codice, la versione concreta è che il tempo risparmiato nella scrittura tende a riapparire come tempo dedicato alla revisione, e i progetti qui che sono andati bene sono quelli in cui qualcuno ha costruito prima il cablaggio di test.

Fonti

• OpenAI: Il calcolo scientifico nell’era dell’intelligenza artificiale con agenti, rapporto sul campo (PDF)
• Il decodificatore: gli agenti di codifica dell’intelligenza artificiale possono modernizzare il software di ricerca ma non possono giudicare se la scienza è corretta
• Il decodificatore: metà del codice scritto dall’intelligenza artificiale che supera un test di settore verrebbe rifiutato da sviluppatori reali