1.221 Freiwillige ließen KI-Agenten 2.200 Forschungsarbeiten prüfen. Fast ein Viertel hielt nicht stand
Hugging Face hat jeden Versuch einer 19-tägigen Aktion veröffentlicht, Experimente aus ICML-2026-Arbeiten mit Coding-Agenten zu wiederholen. Bei 496 Arbeiten wurde mindestens eine Aussage bestritten oder widerlegt.
Hugging Face hat die Ergebnisse eines ungewöhnlichen Experiments zur Überprüfung von Wissenschaft veröffentlicht. Zwischen dem 15. Juli und dem 2. August versuchten 1.221 Freiwillige mit KI-Coding-Agenten, die Experimente hinter angenommenen Arbeiten der ICML 2026 zu wiederholen, einer der größten Konferenzen für maschinelles Lernen. Sie bearbeiteten mehr als 2.200 der 6.341 angenommenen Arbeiten und erstellten 6.816 öffentliche Protokolle. Jeder Versuch ist online, auch die gescheiterten.
Die Schlagzeile lautet: Bei 496 Arbeiten, rund 23 Prozent der untersuchten, wurde mindestens eine Kernaussage bestritten oder widerlegt. 49 Arbeiten verloren sämtliche Aussagen, das heißt, nichts darin ließ sich bestätigen. Bei 242 Arbeiten kamen verschiedene Teams über dieselbe Aussage zu gegensätzlichen Ergebnissen. Auch das ist ein Ergebnis für sich.
Die Teilnehmer wählten ihre Werkzeuge und Hardware selbst. Claude Code, Codex, Cursor und orx von OpenResearch tauchen in den Protokollen auf. Zuerst wurden die zentralen Aussagen jeder Arbeit erfasst, dann durfte ein Agent sie reproduzieren. Methoden, Ausgaben und häufig die vollständige Ausführungsspur landeten in einem öffentlichen Protokoll auf Hugging Face.
Die Bedeutung reicht über die Bewertung einzelner Arbeiten hinaus. Die ICML nahm dieses Jahr 6.341 Arbeiten an, ungefähr doppelt so viele wie im Vorjahr. Kein ehrenamtliches Gutachtergremium kann so viel sorgfältig lesen, geschweige denn den Code erneut ausführen. Reproduktion war immer jener Teil der Wissenschaft, den alle für unverzichtbar halten und für den niemand Zeit hat. Coding-Agenten sind genau so geduldig, billig und unermüdlich, wie diese Aufgabe es verlangt. Das ist eines der bisher überzeugendsten Argumente dafür, dass Agenten zu mehr taugen als zur Auslieferung neuer Funktionen. Eine faire Einschränkung nennen auch die Organisatoren: Wenn ein Agent ein Ergebnis nicht reproduziert, ist es dadurch nicht falsch. Fehlende Daten, nicht dokumentierte Einstellungen und Hardwareunterschiede erzeugen ebenfalls Fehlschläge, die über die Forschung selbst nichts aussagen. Gerade deshalb sind die 242 Arbeiten mit widersprüchlichen Urteilen die interessantesten im ganzen Datensatz.
Was das für dich bedeutet: Wenn du KI-Schlagzeilen liest, behalte dieses Verhältnis im Kopf. „Eine neue Studie zeigt“ ist selbst bei einer Spitzenkonferenz viel schwächer, als der Satz klingt, noch bevor man fragt, ob ein Benchmark überhaupt das Richtige misst. Wer in Forschung oder Technik auf veröffentlichte Ergebnisse baut, kann die Protokolle durchsuchen und prüfen, ob die betreffende Arbeit reproduziert wurde. Und wer ein konkretes, nicht übertriebenes Beispiel für den echten Nutzen von KI-Agenten sucht, findet hier ein besseres als in den meisten Produktdemos: 6.816 mühsame Prüfungen, die sonst nie erledigt worden wären.
Quellen
Quellen: https://huggingface.co/blog/icml-2026-open-reproductions
Noch diesen Monat kommt Werbung zu ChatGPT in Europa
OpenAI informiert Nutzer der Tarife Free und Go im EWR und in der Schweiz, dass noch im August Werbung erscheint. Bezahlte Tarife bleiben sauber, Personalisierung erfordert ein ausdrückliches Ja.
