OpenAI und Anthropic streiten über einen Benchmark – und der Streit sagt mehr aus als die Punktzahlen
GPT-5.6 Sol erreichte im offiziellen ARC-AGI-3-Aufbau 7,8 Prozent, mit OpenAIs eigenen Einstellungen dagegen 38,3 Prozent. Die enorme Differenz zeigt, warum sich Benchmarkwerte so schwer vergleichen lassen.
Vergangene Woche stellte Claude Opus 5 von Anthropic mit 30,2 Prozent einen Rekord bei ARC-AGI-3 auf. Der Rätselbenchmark soll prüfen, ob ein Modell Regeln erschließen kann, die es zuvor nie gesehen hat. Am 30. Juli antwortete OpenAI: Mit zwei zusätzlichen Einstellungen komme GPT-5.6 Sol auf 38,3 Prozent. Im offiziellen Testaufbau hatte dasselbe Modell lediglich 7,8 Prozent erreicht.
Das ist kein Tippfehler. Verantwortlich sind zwei Funktionen der Responses API von OpenAI. „Retained Reasoning“ hält die Gedankenkette des Modells, also seine interne Herleitung, über mehrere Schritte hinweg aufrecht, statt sie jedes Mal zu verwerfen. „Compaction“ fasst ältere Teile des Kontexts zusammen, anstatt sie einfach abzuschneiden, sobald das Kontextfenster voll ist. Im offiziellen Testsystem fehlen beide Funktionen, sodass das Modell nach jedem Zug den Faden verliert. ARC Prize verteidigte die standardisierte Umgebung zunächst als Voraussetzung für faire Vergleiche. Mitgründer François Chollet kam OpenAI anschließend entgegen: Speziell zur Manipulation des Benchmarks gebaute Aufbauten seien unzulässig, allgemeine API-Einstellungen, die allen Kunden offenstehen, dagegen legitim. Damit könnte ausgerechnet die offizielle Messung OpenAI benachteiligt haben – möglicherweise, weil sie eine ältere API ohne Funktionen nutzte, über die Anthropics Schnittstelle bereits verfügte.
Was dahintersteckt
Das Prinzip ist auch dann wichtig, wenn du nie wieder eine Benchmarktabelle liest. Ein Benchmark misst niemals nur ein Modell, sondern immer das Modell samt Gerüst: wie sein Gedächtnis funktioniert, wie Kontext gekürzt wird, wie viele Versuche es erhält und wie viel Rechenleistung es verbrauchen darf. Wird dieses Gerüst verändert, kann sich der Wert wie hier verfünffachen. Keine Seite muss deshalb unehrlich sein. Beide messen etwas anderes und nennen das Ergebnis dennoch „die Punktzahl des Modells“. Chollets Lösung ist vernünftig: Jeder Aufbau ist zulässig, solange Einstellungen und Kosten transparent ausgewiesen werden.
Was das für dich bedeutet: Betrachte einzelne Benchmarkwerte eher als Werbung denn als belastbare Messung. Wenn ein Labor behauptet, sein Modell schlage ein anderes mit deutlichem Abstand, solltest du nach dem Testaufbau und den Kosten fragen. Willst du ein Modell für echte Arbeit auswählen, verrät dir ein kleiner eigener Test mit deinen tatsächlichen Aufgaben mehr als jede Bestenliste. Für alle anderen lautet die praktische Einordnung: Die beiden Modelle liegen nah beieinander; der Abstand im Marketing ist größer als der bei ihren Fähigkeiten.
Quellen
Quellen: https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores/
Unsichtbarer Text in einer Word-Datei kann Copilot übernehmen – und sich in neuen Dokumenten weiterverbreiten
Ein Forscher zeigt, wie versteckte Anweisungen in einem Dokument Microsoft 365 Copilot dazu bringen, Zahlen zu verändern und den Befehl in die neue Datei zu kopieren. Microsofts Gegenmaßnahmen schließen die Lücke bislang nicht.
