KI-Agenten machten Forschungssoftware 60-mal schneller und lagen selbstbewusst in einer Weise falsch, die wochenlang niemand bemerkte

Ein großer Teil der Wissenschaft basiert auf Software, die einmal für eine Arbeit von Leuten geschrieben wurde, die keine Zeit hatten, sie zu pflegen. Ein neuer Erfahrungsbericht von OpenAI und einer Reihe akademischer Partner dokumentiert acht Versuche, dieses Problem auf KI-Programmieragenten zu übertragen, und die Ergebnisse gehen in beide Richtungen auf eine Art und Weise über, die es wert ist, sorgfältig gelesen zu werden.

Die Beschleunigungen sind nicht gering. RustQC, das fünfzehn separate Qualitätskontrolltools in einem Programm zusammenführte, verkürzte einen Lauf von 15 Stunden und 34 Minuten auf 14 Minuten und 54 Sekunden, was mehr als sechzig Mal schneller ist. HelixForge, eine Neufassung, die die Generierung genomischer Daten auf Grafikkarten verlagerte, schloss eine Testpipeline 59,6-mal schneller ab als das Tool, das es ersetzte. Ein Nachbau des Genom-Aligners STAR, mehr als 20.000 Zeilen C und C++, den niemand mehr pflegt, wurde in der Sprache Rust neu implementiert und stimmte bei 99,815 Prozent der Testlesungen mit dem Original überein.

Dann die andere Hälfte. Bei einer Neufassung eines Statistikpakets namens bayesm invertierte ein Agent einen Steuerparameter, sodass das Programm stillschweigend den Kehrwert der beabsichtigten Werte verwendete, und ein zweiter Fehler steckte in der Berechnung selbst. Beides tauchte in der normalen Ausgabe nicht auf. Die Forscher fanden sie nur, indem sie einen Kalibrierungstest mit Tausenden synthetischen Datensätzen mit bekannten Antworten durchführten. Philip Ewels, der RustQC leitete, beschrieb die Agenten als „eloquent, überzeugend und auf eine Art und Weise selbstbewusst falsch liegend, die leicht zu übersehen ist“ und ließ niemals zu, dass ein Modell seine eigene Genauigkeit beurteilte.

Was dahinter steckt. Die Arbeitsteilung war in allen acht Projekten einheitlich: Menschen definierten das Ziel, die Erfolgskriterien und die Tests, Agenten schrieben den Code. Diese Reihenfolge ist der gesamte Befund. Ein Codierungsagent optimiert die Produktion, um etwas zu produzieren, das läuft und jede Prüfung besteht, die ihm gegeben wird, was ein anderes Ziel ist, als etwas Korrektes zu produzieren. Wenn es sich bei der Prüfung um eine Testsuite handelt, die die Menschen unabhängig voneinander entworfen haben, richten sich die beiden Ziele in einer Reihe aus. Wenn das Modell gebeten wird, seine eigene Arbeit zu bewerten, zerfallen sie, und das Scheitern bleibt still, da die Ausgabe immer noch plausibel erscheint. Dies gilt nicht nur für die Wissenschaft. Eine Studie von METR ergab, dass tatsächliche Projektbetreuer etwa die Hälfte der Lösungen ablehnen würden, die ein weit verbreiteter Coding-Benchmark als bestanden abschneidet. Die Autoren des Berichts betonen mit Bedacht, dass es sich bei ihren acht Fällen nicht um eine repräsentative Studie handelt, und weisen auf ein zweites Problem hin: Billige Umschreibungen sind einfach herzustellen und teuer in der dauerhaften Wartung.

Was das für dich bedeutet: Das Muster wird direkt auf alles übertragen, was Sie an ein Modell delegieren, sei es Code, eine Tabelle oder eine Forschungszusammenfassung. Entscheiden Sie, wie Sie das Ergebnis überprüfen, bevor Sie danach fragen, und machen Sie die Überprüfung unabhängig von der überprüften Sache. Ein Modell zu fragen, ob seine eigene Antwort richtig ist, ist nahezu wertlos, da dieselbe Argumentation, die zu dem Fehler geführt hat, ihn bestätigen wird. Für jeden, der Code schreibt, ist die konkrete Version, dass die beim Schreiben eingesparte Zeit tendenziell als Zeit für die Überprüfung wieder auftaucht, und die Projekte, die hier gut liefen, sind diejenigen, bei denen jemand zuerst die Testumgebung erstellt hat.

Quellen

• OpenAI: Wissenschaftliches Rechnen im Zeitalter der agentischen KI, Erfahrungsbericht (PDF)
• Der Decoder: KI-Coding-Agenten können Forschungssoftware modernisieren, können aber nicht beurteilen, ob die Wissenschaft richtig ist
• Der Decoder: Die Hälfte des von KI geschriebenen Codes, der einen Branchentest besteht, würde von echten Entwicklern abgelehnt