Geben Sie einem Grenzmodell nur eine Bibliographie und fragen Sie nach der Idee. Es kommt in 3 bis 15 Prozent der Fälle dort an
Ein neuer Benchmark namens Reconstruction entfernt alles außer der Referenzliste einer Arbeit und fordert Modelle auf, ihre Kernergebnisse wiederherzustellen. Sieben Frontier-Modelle erzielten Werte zwischen 3 und 15 Prozent. Ein Multi-Agenten-Turnier erreichte 42.
Ein am 17. August auf arXiv veröffentlichter Benchmark stellt Sprachmodelle vor eine Aufgabe, die fast einfach klingt, sich aber als solche herausstellt. Nehmen Sie eine Forschungsarbeit. Löschen Sie alles außer der Liste der zitierten Werke vor der Veröffentlichung. Geben Sie einem Modell diese Liste und bitten Sie es, die Kernidee des Papiers wiederzugeben. In 643 Arbeiten in sechs wissenschaftlichen Bereichen erreichten sieben Grenzmodelle Übereinstimmungsraten zwischen 3 und 15 Prozent. Der Maßstab eines Teams unter der Leitung von Shaolong Chen und Yanlin Fei heißt Reconstruction.
Das Design ist der interessante Teil. Eine Bibliographie weist auf einen Problembereich hin, aber der kreative Sprung von vorhandener Literatur zu einer neuen Hypothese ist genau das, was die Arbeit selbst liefert, sodass dieser Sprung der einzige Weg zu einer richtigen Antwort ist. Um zu verhindern, dass sich Modelle einfach an die Arbeit erinnern, haben die Autoren drei Abwehrmechanismen eingebaut: Keine zitierte Referenz darf den eigenen Wissenshorizont der Arbeit nachdatieren, Autorennamen und identifizierende Metadaten werden aus den Referenzen entfernt und jede Bibliographie wird eingefroren, damit zum Testzeitpunkt nichts durchsickert. Ein unabhängiges Modell fungiert als Richter und vergleicht die vorgeschlagenen Hypothesen mit den tatsächlichen.
Was die niedrigen Werte aussagekräftig macht, ist ihre enge Häufung. Wenn die Aufgabe durch Argumentation gelöst würde, würden Sie erwarten, dass stärkere Modelle die Nase vorn haben. Stattdessen erreichten die Besten kaum 15 Prozent und der Rest lag darunter, was Erklärungen zu Eingabeaufforderungen oder Modellgröße ausschließt und auf etwas Strukturelles hindeutet. Ein Weg funktionierte tatsächlich besser: Eine Multi-Agenten-Pipeline, die Hypothesen von mehreren Modellen sammelt, diese gegenseitig kritisieren lässt und dann schwächere Kandidaten durch ein Turnier im Bracket-Stil eliminiert, erreichte 23 bis 42 Prozent, etwa das 2,4-fache des besten Einzelmodells. Es war keine externe Suche erforderlich, sodass die Verbesserung ausschließlich auf Vielfalt und Argumentation zurückzuführen war. Die Autoren stellen fest, dass es sich hierbei um einen groben rechnerischen Ersatz für die Begutachtung durch Fachkollegen handelt, was kein Zufall ist: Es handelt sich um denselben Fehlerkorrekturmechanismus, den Wissenschaftler verwenden.
Einige Vorbehalte gehören hierher. Dies ist ein Vorabdruck, der keiner Peer-Review unterzogen wurde. Der Turnieransatz erfordert viele Modellaufrufe und eine Koordinationsinfrastruktur, und in dem Dokument werden die Rechenkosten nicht detailliert beschrieben. Und 42 Prozent sind zwar viel besser, lassen die meisten Ideen aber immer noch nicht wiederhergestellt.
Was das für Sie bedeutet: Es gibt mittlerweile eine beträchtliche Branche, die Sprachmodelle als Engines zur Hypothesengenerierung verkauft, und viele dieser Behauptungen beruhen auf Tests, bei denen das Modell den vollständigen Papiertext, Autorennamen oder Signale nach der Veröffentlichung erkennen konnte. Die unter diesen Bedingungen erzielten Ergebnisse sagen nicht viel über den Inferenzschritt aus. Wenn Sie ein KI-Wissenschaftstool bewerten, müssen Sie sich die Frage stellen, ob die Bewertung kontaminationsresistent war, d. Für alle anderen ist das ein nützlicher Ballast gegen die aktuelle Stimmung. Derselbe Monat brachte echte Ergebnisse zu mathematischen Beweisen und zum Proteindesign, und diese werden dadurch nicht geschmälert. Aber die Literatur brillant zusammenzufassen und die nächste Idee zu erfinden, sind unterschiedliche Aufgaben, und aktuelle Modelle sind im ersten Fall sichtbar viel besser.
Quellen
Quellen: https://arxiv.org/abs/2608.16645
Anthropic zahlt Berichten zufolge 7 Milliarden Dollar für Software, die Chips weiterbringt
Anthropic und Decart tauschen vorab Entwürfe einer 7-Milliarden-Dollar-Übernahme aus, größtenteils in Aktien, wobei die Unterzeichnung für Anfang September geplant ist. Decart-Claim-Modelle können auf derselben Hardware bis zu achtmal schneller laufen.
