Rekonstruktions-Benchmark
Ein Test aus dem Jahr 2026, der einem Modell nur die Referenzliste einer Arbeit gibt und es auffordert, die Kernidee der Arbeit wiederherzustellen, wobei Grenzmodelle 3 bis 15 Prozent erreichen.
„Reconstruction“, das im August 2026 von einem Team unter der Leitung von Shaolong Chen und Yanlin Fei auf arXiv veröffentlicht wurde, testet, ob ein Sprachmodell genau das tun kann, was wissenschaftliche Entdeckungen ausmacht: eine wirklich neue Hypothese aus früheren Arbeiten aufzustellen. Die Eingabe ist bewusst dünn gehalten. Das Modell erhält die Liste der Arbeiten, die eine Forschungsarbeit vor der Veröffentlichung zitiert, und sonst nichts. Kein vollständiger Text, keine Autorennamen, keine Hinweise aus der Zeit nach der Veröffentlichung.
Bei 643 Arbeiten in sechs Bereichen gelang es sieben Grenzmodellen, die Kernidee in 3 bis 15 Prozent der Fälle wiederzugewinnen. Die enge Streuung ist ebenso wichtig wie die niedrigen Zahlen, denn wenn die Aufgabe durch Argumentation gelöst würde, würde man erwarten, dass stärkere Modelle klar die Nase vorn haben. Eine Multi-Agenten-Pipeline, bei der mehrere Modelle Ideen vorschlugen, sich gegenseitig kritisierten und die Schwächsten durch ein Turnier eliminierten, erreichte 23 bis 42 Prozent, was darauf hindeutet, dass die nützliche Form für die KI-gestützte Entdeckung eine Struktur ist, die einem Peer-Review ähnelt, und nicht ein sehr großes Modell. Das Papier ist ein Vorabdruck und wurde nicht von Experten begutachtet.