Quello strumento IA che sei mesi fa aveva «fallito»? Forse gli serviva soltanto più tempo
L’AI Security Institute del Regno Unito ha scoperto che il metodo standard con cui testiamo gli agenti IA ne sottovaluta silenziosamente le capacità, perché li interrompiamo troppo presto. Con più tempo di calcolo risolvono molti più problemi. Una spiegazione semplice del perché sia importante per chiunque valuti strumenti IA.
Ecco una scoperta che cambia silenziosamente la prospettiva su molti titoli dedicati all’IA. L’AI Security Institute del Regno Unito, un ente governativo che studia la sicurezza dell’IA, afferma che il modo in cui misuriamo gli «agenti» IA, cioè sistemi capaci di affrontare autonomamente attività composte da più passaggi, li penalizza sistematicamente. Non perché i test siano truccati, ma perché interrompiamo l’IA prima che abbia finito di ragionare.
L’idea centrale diventa intuitiva non appena la si vede. Più a lungo un agente può lavorare, più migliora: più tentativi, più verifiche, più ragionamento. La maggior parte dei test, però, impone un budget, cioè un limite alla quantità di calcolo, misurata in token, i frammenti di testo elaborati dall’IA, che l’agente può utilizzare. Se lo fermi mentre sta ancora migliorando, il punteggio riflette il minimo delle sue capacità, non il massimo. I ricercatori hanno scoperto che, nei compiti di correzione del software, i tassi di successo aumentavano di circa il 25% quando il budget passava da un milione a dieci milioni di token. Alcune attività di sicurezza sono state risolte soltanto con 50 milioni. Stesso modello, stesso problema: gli è stato semplicemente dato spazio per continuare.
C’è una seconda parte, ancora più sorprendente. Poiché i budget di token continuavano a crescere, la stima dell’Istituto sulla rapidità con cui migliorano le capacità dell’IA legate all’hacking si è rivelata troppo prudente. Misurata con budget generosi, la capacità raddoppia all’incirca ogni 40-50 giorni, anziché ogni pochi mesi: un ritmo significativamente più veloce. È un risultato rilevante per la sicurezza e ricorda che il modo in cui misuri qualcosa condiziona le conclusioni. Per correttezza, più tempo di calcolo non è una bacchetta magica: nei test con domande mediche i modelli hanno raggiunto un limite che nessun budget riusciva a superare e, in alcune attività, i modelli più recenti sono andati peggio. Il tempo aggiuntivo aiuta soprattutto quando l’IA può controllare il proprio lavoro, per esempio eseguendo codice e verificando se supera i test.
Cosa significa per te: Se tempo fa hai provato un modello IA locale o uno strumento agentico e ha fallito, non scartarlo sulla base del ricordo: forse lo strumento era adeguato e il guinzaglio troppo corto. E poiché il costo del calcolo IA continua a diminuire, capacità che l’anno scorso sembravano troppo lente o costose diventano silenziosamente pratiche quest’anno. L’abitudine concreta: quando affidi a un’IA un compito davvero difficile, soprattutto se include un controllo incorporato, come test o compilatore, lasciala lavorare più a lungo prima di giudicarla. La pazienza fa ormai parte di un buon uso di questi strumenti.
Fonti
Un’IA più piccola e personalizzata ha battuto GPT e Claude in un lavoro reale, a una frazione del costo
Un gigantesco hedge fund e una startup IA di primo piano hanno dimostrato che un modello gratuito e scaricabile, addestrato sul giudizio dei propri esperti, ha superato tutte le IA più note nelle attività finanziarie a circa un quattordicesimo del costo. La lezione vale ben oltre Wall Street.
