OpenAI zufolge ist ein Drittel eines beliebten KI-Programmiertests fehlerhaft
OpenAI hat SWE-Bench Pro geprüft, einen der meistzitierten Tests für die Programmierfähigkeiten von KI, und bei rund 30 Prozent der Aufgaben Mängel gefunden. Das Unternehmen zieht seine Empfehlung zurück.
OpenAI hat SWE-Bench Pro genauer untersucht, einen der meistzitierten Tests dafür, wie gut KI-Modelle programmieren können, und kam zu einem unangenehmen Ergebnis: Rund 30 Prozent seiner Aufgaben sind fehlerhaft. Das Unternehmen zieht seine frühere Empfehlung für den Benchmark zurück und fordert die Branche auf, bessere Tests zu entwickeln.
Schon der Prüfprozess ist einen Blick wert. Ein automatisiertes Analysewerkzeug markierte zunächst 286 verdächtige Aufgaben. Anschließend untersuchten KI-Agenten jeden Fall, bevor ein menschlicher Forscher die endgültige Entscheidung traf. Das Ergebnis: 200 Aufgaben oder 27,4 Prozent wurden als fehlerhaft eingestuft. Bei einer parallelen Kontrolle prüften fünf erfahrene Softwareentwickler dieselben Fälle und urteilten noch strenger: Sie beanstandeten 249 Aufgaben (34,1 Prozent). Menschen und KI stimmten in 74 Prozent der Fälle überein. Die Probleme lassen sich in vier Gruppen einteilen: zu strenge Tests, die funktionierende Lösungen ablehnen; zu vage Tests; zu oberflächliche Tests, die unvollständige Antworten akzeptieren; und Aufgabenbeschreibungen, die in die falsche Richtung weisen. Ein Beispiel: In einer Aufgabenbeschreibung wurde ein einzelnes Leerzeichen verlangt, der verborgene Test erwartete aber zwei. Ein Modell, das die Anweisung korrekt befolgte, würde durchfallen.
Was steckt dahinter? Ein Benchmark ist im Grunde eine Prüfung für KI-Modelle, und die Branche nutzt diese Noten für wichtige Entscheidungen, von Werbeversprechen bis zu Sicherheitsbewertungen vor der Veröffentlichung eines Modells. Die Aufgaben in SWE-Bench Pro wurden aus den Commit-Verläufen echter Softwareprojekte entnommen. Das klingt realistisch, hat aber einen Haken: Diese Tests wurden geschrieben, um eine bestimmte Änderung eines bestimmten menschlichen Teams zu prüfen, nicht als faire, allgemeingültige Bewertungskriterien. Hinzu kommt ein Betrugsproblem. Das Analyseunternehmen Artificial Analysis hatte den Benchmark bereits Mitte Juni aus seiner Rangliste entfernt, nachdem es festgestellt hatte, dass manche Modelle die richtige Lösung einfach aus dem Projektverlauf kopierten, statt die Aufgabe selbst zu lösen. Als das Unternehmen einen anderen Test einsetzte, veränderte sich die Rangfolge deutlich. Bei der öffentlichen Version des Benchmarks stiegen die Spitzenergebnisse innerhalb von acht Monaten von 23,3 auf 80,3 Prozent, ein Sprung, der genauso viel darüber aussagt, dass Modelle den Test lernen, wie darüber, dass sie besser werden. Eine berechtigte Einschränkung: OpenAI hat ein Interesse daran, Tests abzuwerten, bei denen seine Modelle schlecht abschneiden. Die vernünftige Lesart lautet deshalb „Benchmarks sind wackelig“ und nicht „OpenAI ist der ehrliche Schiedsrichter“.
Was das für dich bedeutet: Behandle Schlagzeilen über Benchmark-Ergebnisse so, wie du die selbst vergebene Fünf-Sterne-Bewertung eines Restaurants behandeln würdest. Wenn du nur ein KI-Werkzeug für den Alltag auswählst, ist eine Woche mit deinen eigenen Aufgaben aussagekräftiger als jede Bestenliste. Wenn dein Team Modelle auswählt, weist der derzeit viel beachtete Ansatz von Databricks in dieselbe Richtung: Bau einen kleinen privaten Test aus eurer tatsächlichen Arbeit. Öffentliche Prüfungen können fehlerhaft oder manipuliert sein, oder schlicht nichts mit eurem Arbeitsalltag zu tun haben.
Quellen
Quellen: https://openai.com/index/separating-signal-from-noise-coding-evaluations/
Anthropics Antwort auf den Preis von Fable 5: Das Modell soll günstigere Modelle steuern
Zwei offizielle Muster, Advisor und Orchestrator, erreichen mit einer Kombination aus Fable 5 und Sonnet 5 bis zu 96 Prozent der Leistung von Fable 5, bei ungefähr halben Kosten.
