Le même modèle a obtenu 30 % seul et 100 % dans le système d'agent de Nvidia
L'AVO de Nvidia a effacé les 183 niveaux d'ARC-AGI-3 en utilisant Claude Opus 5, un modèle qui obtient à lui seul un score d'environ 30 %. La partie intéressante n’est pas la partition, c’est ce qui a changé.
Nvidia a publié le 21 août des résultats montrant que son agent de recherche AVO a réussi tous les niveaux du benchmark public ARC-AGI-3 : 183 niveaux dans 25 environnements de jeu, avec un score parfait de 100,00 sur la mesure d’efficacité du benchmark. Le modèle qui a réfléchi était Claude Opus 5, que le Prix ARC mesure séparément à environ 30 pour cent lorsqu’il joue seul.
ARC-AGI-3 est un test inhabituel. Un agent est plongé dans un petit monde de jeu sans instructions, sans règles énoncées et sans objectif. Il doit s’intéresser à l’environnement, déterminer l’effet de ses actions, deviner à quoi ressemble la victoire, puis le faire efficacement. La métrique de notation, appelée RHAE, ne vérifie pas seulement si l’agent a terminé un niveau ; il compare le nombre de mouvements nécessaires à ceux d’un nouveau joueur humain. Donc, se frayer un chemin vers la victoire avec des milliers d’actions aléatoires n’aide pas. AVO a résolu l’ensemble du public grâce à 6 624 actions environnementales. VISTA, un système rival exécutant le même modèle, en avait besoin de 7 542, soit environ 12 % de plus.
AVO signifie Agentic Variation Operators, et il n’a pas commencé par jouer à des jeux. Nvidia l’a construit pour optimiser les noyaux GPU, les petits morceaux de code critiques en termes de performances qui rendent les cartes graphiques rapides. Dans ce travail, il a fonctionné sans surveillance pendant sept jours, a essayé plus de 500 idées d’optimisation, a validé 40 versions et a fini par battre FlashAttention-4 de 10,5 %. L’équipe a ensuite pointé le même agent vers ARC-AGI-3 sans rien lui apprendre sur les jeux.
Le mot à connaître ici est harnais. Un modèle de langage répond à lui seul à une question à la fois et oublie tout par la suite. Un harnais est l’échafaudage qui l’entoure : quel contexte il voit, quels outils il peut appeler, ce dont il se souvient entre les étapes et que se passe-t-il lorsqu’il reste bloqué. AVO ajoute deux choses en particulier. La mémoire persistante fait avancer les découvertes afin que l’agent ne redécouvre pas dix fois le même fait. Un superviseur surveille la trajectoire globale et pousse l’agent vers une stratégie différente lorsqu’il commence à tourner en rond. Nvidia prend soin de préciser qu’il ne s’agit pas d’une expérience contrôlée, puisque les deux systèmes diffèrent à bien des égards à la fois, et qu’il s’agit de résultats publics et non d’un ensemble de concurrents privés. La lecture honnête n’est pas “AVO ajoute 70 points” mais “un chiffre de référence pour un modèle vous en dit beaucoup moins que vous ne le pensiez sur ce qu’un agent construit sur celui-ci peut faire”.
Ce que cela signifie pour vous : si vous choisissez un outil ou un agent de codage d’IA, la position du modèle sous-jacent dans le classement ne représente que la moitié de l’histoire. Deux produits peuvent exécuter le même modèle et se comporter de manière complètement différente, car la mémoire, l’accès aux outils et la récupération des erreurs résident dans le produit et non dans le modèle. Cela explique également une expérience commune : le même modèle qui semble brillant dans une application se sent oublieux et dispersé dans une autre. Pour la plupart des gens, rien ne change aujourd’hui, mais c’est une perspective utile pour lire la prochaine série d’annonces d’agents.
##Sources
Nvidia a payé 6 milliards de dollars pour le logiciel de Poolside et 109 de ses employés, et appelle cela une licence
Pas d'acquisition, pas d'acquisition. Nvidia accorde une licence à la plate-forme, investit un milliard supplémentaire et embauche la majeure partie de l'équipe, tandis que Poolside reste indépendant sur le papier.
