Lo stesso modello ha ottenuto un punteggio del 30% da solo e del 100% all'interno del sistema di agenti di Nvidia
L'AVO di Nvidia ha superato tutti i 183 livelli di ARC-AGI-3 utilizzando Claude Opus 5, un modello che da solo ottiene un punteggio di circa il 30%. La parte interessante non è la colonna sonora, è ciò che è cambiato.
Nvidia ha pubblicato i risultati il 21 agosto mostrando che il suo agente di ricerca AVO ha superato ogni livello del benchmark pubblico ARC-AGI-3: 183 livelli in 25 ambienti di gioco, con un punteggio perfetto di 100,00 sulla metrica di efficienza del benchmark. Il modello che ha riflettuto è stato Claude Opus 5, che ARC Prize misura separatamente a circa il 30% quando viene giocato da solo.
ARC-AGI-3 è un test insolito. Un agente viene catapultato in un piccolo mondo di gioco senza istruzioni, senza regole stabilite e senza obiettivi. Deve colpire l’ambiente, capire cosa fanno le sue azioni, indovinare come appare vincere e poi farlo in modo efficiente. La metrica del punteggio, chiamata RHAE, non controlla solo se l’agente ha completato un livello; confronta il numero di mosse necessarie rispetto a un giocatore umano per la prima volta. Quindi riempire la tua strada verso la vittoria con migliaia di azioni casuali non aiuta. AVO ha risolto l’intera questione pubblica con 6.624 azioni ambientali. VISTA, un sistema rivale che utilizza lo stesso modello, ne aveva bisogno di 7.542, circa il 12% in più.
AVO sta per Agentic Variation Operators e non è iniziato giocando. Nvidia lo ha realizzato per ottimizzare i kernel GPU, i piccoli pezzi di codice critici per le prestazioni che rendono veloci le schede grafiche. In quel lavoro ha funzionato incustodito per sette giorni, ha provato più di 500 idee di ottimizzazione, ha eseguito il commit di 40 versioni e ha finito per battere FlashAttention-4 fino al 10,5%. Il team ha poi indirizzato lo stesso agente verso ARC-AGI-3 senza insegnargli nulla sui giochi.
La parola da sapere qui è imbracatura. Un modello linguistico risponde da solo a una domanda alla volta e poi dimentica tutto. Un’imbracatura è l’impalcatura che la circonda: quale contesto vede, quali strumenti può chiamare, cosa ricorda tra un passaggio e l’altro e cosa succede quando rimane bloccato. AVO aggiunge due cose in particolare. La memoria persistente porta avanti le scoperte in modo che l’agente non riscopra lo stesso fatto dieci volte. Un supervisore osserva la traiettoria complessiva e spinge l’agente verso una strategia diversa quando inizia a girare in tondo. Nvidia è attenta a dire che questo non è un esperimento controllato, dal momento che i due sistemi differiscono in molti modi contemporaneamente, e che questi sono risultati stabiliti dal pubblico, non dalla concorrenza privata. La lettura onesta non è “AVO aggiunge 70 punti” ma “un numero di riferimento per un modello ti dice molto meno di quanto pensavi su cosa può fare un agente costruito su di esso”.
Che cosa significa per te: se stai scegliendo uno strumento o un agente di codifica AI, la posizione in classifica del modello sottostante è solo metà della storia. Due prodotti possono eseguire lo stesso modello e comportarsi in modo completamente diverso, perché la memoria, l’accesso agli strumenti e il ripristino degli errori risiedono nel prodotto, non nel modello. Ciò spiega anche un’esperienza comune: lo stesso modello che sembra brillante in un’app sembra dimenticato e disperso in un’altra. Per la maggior parte delle persone oggi non cambia nulla, ma è una lente utile per leggere il prossimo ciclo di annunci degli agenti.
Fonti
Nvidia ha pagato 6 miliardi di dollari per il software di Poolside e 109 dei suoi dipendenti, e la chiama licenza
Nessuna acquisizione, nessuna acquisizione. Nvidia concede in licenza la piattaforma, investe un altro miliardo e assume la maggior parte del team, mentre Poolside rimane indipendente sulla carta.
