Das gleiche Modell erreichte allein 30 Prozent und innerhalb des Agentensystems von Nvidia 100 Prozent
Nvidias AVO hat alle 183 Level von ARC-AGI-3 mit Claude Opus 5 gemeistert, einem Modell, das allein etwa 30 Prozent punktet. Das Interessante daran ist nicht die Partitur, sondern das, was sich geändert hat.
Nvidia veröffentlichte am 21. August Ergebnisse, aus denen hervorgeht, dass sein Forschungsagent AVO alle Level des öffentlichen ARC-AGI-3-Benchmarks gemeistert hat: 183 Level in 25 Spielumgebungen, mit einem perfekten Ergebnis von 100,00 bei der Effizienzmetrik des Benchmarks. Das Modell, das die Überlegungen anstellte, war Claude Opus 5, dessen Leistung ARC Prize einzeln auf etwa 30 Prozent beziffert, wenn er alleine gespielt wird.
ARC-AGI-3 ist ein ungewöhnlicher Test. Ein Agent wird in eine kleine Spielwelt ohne Anweisungen, ohne festgelegte Regeln und ohne Ziel versetzt. Es muss in der Umgebung herumstochern, herausfinden, was seine Aktionen bewirken, erraten, wie Gewinnen aussieht, und es dann effizient tun. Die Bewertungsmetrik, RHAE genannt, prüft nicht nur, ob der Agent ein Level abgeschlossen hat; Es vergleicht, wie viele Züge es gegen einen menschlichen Spieler benötigt, der zum ersten Mal spielt. Es hilft also nicht, sich mit Tausenden von Zufallsaktionen den Weg zum Sieg zu bahnen. AVO hat das gesamte öffentliche Set in 6.624 Umweltaktionen gelöst. VISTA, ein Konkurrenzsystem mit demselben Modell, benötigte 7.542, etwa 12 Prozent mehr.
AVO steht für Agentic Variation Operators und begann nicht mit Spielen. Nvidia hat es entwickelt, um GPU-Kernel zu optimieren, die kleinen leistungskritischen Codeteile, die Grafikkarten schnell machen. Bei diesem Job lief es sieben Tage lang unbeaufsichtigt, probierte mehr als 500 Optimierungsideen aus, übertrug 40 Versionen und schlug am Ende FlashAttention-4 um bis zu 10,5 Prozent. Anschließend wies das Team denselben Agenten auf ARC-AGI-3 hin, ohne ihm etwas über Spiele beizubringen.
Das Wort, das man hier kennen sollte, ist Geschirr. Ein Sprachmodell allein beantwortet eine Frage nach der anderen und vergisst danach alles. Ein Geschirr ist das Gerüst um es herum: welchen Kontext es sieht, welche Werkzeuge es aufrufen kann, was es sich zwischen den Schritten merkt und was passiert, wenn es stecken bleibt. AVO fügt insbesondere zwei Dinge hinzu. Persistentes Gedächtnis trägt Erkenntnisse weiter, sodass der Agent dieselben Fakten nicht zehnmal wiederentdeckt. Ein Vorgesetzter beobachtet den Gesamtverlauf und drängt den Agenten zu einer anderen Strategie, wenn er anfängt, sich im Kreis zu drehen. Nvidia weist ausdrücklich darauf hin, dass es sich hierbei nicht um ein kontrolliertes Experiment handelt, da sich die beiden Systeme gleichzeitig in vielerlei Hinsicht unterscheiden und es sich hierbei um öffentlich festgelegte Ergebnisse und nicht um die privaten Wettbewerbsdaten handelt. Die ehrliche Lesart lautet nicht „AVO fügt 70 Punkte hinzu“, sondern „eine Benchmark-Zahl für ein Modell sagt Ihnen viel weniger aus, als Sie gedacht hätten, was ein darauf aufbauender Agent leisten kann“.
Was das für Sie bedeutet: Wenn Sie sich für ein KI-Codierungstool oder einen KI-Agenten entscheiden, ist die Spitzenposition des zugrunde liegenden Modells nur die halbe Wahrheit. Zwei Produkte können das identische Modell ausführen und sich völlig unterschiedlich verhalten, da Speicher, Werkzeugzugriff und Fehlerbehebung im Produkt und nicht im Modell gespeichert sind. Das erklärt auch eine häufige Erfahrung: Dasselbe Modell, das sich in einer App brillant anfühlt, fühlt sich in einer anderen vergesslich und zerstreut an. Für die meisten Menschen ändert sich heute nichts, aber es ist eine nützliche Linse, um die nächste Runde von Agentenankündigungen zu lesen.
Quellen
Nvidia hat 6 Milliarden Dollar für die Software von Poolside und 109 seiner Mitarbeiter bezahlt und nennt es eine Lizenz
Kein Erwerb, kein Erwerb. Nvidia lizenziert die Plattform, investiert eine weitere Milliarde und stellt den Großteil des Teams ein, während Poolside auf dem Papier unabhängig bleibt.
