Taste-Bench: KI-Agenten sind überraschend schlecht darin, den besseren Weg zu wählen
Ein neuer Benchmark von Microsoft und der City University of Hong Kong testet, ob Modelle bei einer langen Aufgabe die bessere Richtung wählen können. Der beste Wert liegt unter 60 Prozent.
Die meisten Tests für KI-Agenten stellen eine Frage: Hat es den Job erledigt? Ein neuer Benchmark namens Taste-Bench stellt eine andere Frage: Hat der Agent eine gute Wahl getroffen, als er eine Weggabelung erreichte? Die Forscher von Microsoft und der City University of Hong Kong nennen dieses Urteil „Geschmack“. Das beste Modell erreichte knapp 60 Prozent.
Ein Benchmark für Einsteiger ist eine Standardprüfung, die es Menschen ermöglicht, Modelle zu vergleichen. Taste-Bench hat 502 Fragen, jede davon eine „Entscheidungsgabel“. Das Team nahm einen echten Agentenlauf, der eine Coding- oder KI-Forschungsaufgabe ausführte, fror ihn an einem Verzweigungspunkt ein, versteckte alles, was später kam, und bat ein Modell, zwischen zwei Richtungen zu wählen. Die richtige Antwort kommt erst im Nachhinein: Spätere Arbeiten zeigen, welcher Weg sich als besser herausstellte. Bei einigen Forks handelt es sich um parallele Versuche, die voneinander abweichen, bei anderen handelt es sich um Umwege, bei denen sich ein Agent selbst korrigiert hat, was testet, ob ein Modell den Fehler früher erkennen kann.
Getestet wurden 14 Modelle aus mehreren Familien. Jede Frage wurde zweimal mit vertauschten Optionen gestellt und nur dann gewertet, wenn sie beide Male richtig beantwortet wurde. Das zufällige Raten hat also einen Wert von 25 Prozent. GPT-5.6 Sol belegte mit 59,7 Prozent den ersten Platz, GPT-5.5 knapp dahinter mit 59,5 Prozent und alle anderen lagen darunter. Als der entscheidende Hinweis früh erschien, lag die durchschnittliche Genauigkeit bei 62,3 Prozent. Als es erst nach viel späterer Arbeit auftauchte, sank die Genauigkeit auf 21 Prozent. Den Modellen ein größeres Argumentationsbudget zur Verfügung zu stellen, hat kaum geholfen.
Was dahinter steckt: Eine Aufgabe zu erledigen und eine Aufgabe zu steuern sind unterschiedliche Fähigkeiten. Stellen Sie sich einen Fahrer vor, der am Ziel ankommt, aber bei jeder falschen Abbiegung zuerst abbiegt. Bei langen Jobs kann eine frühe schlechte Wahl Stunden an Rechenleistung und Geld verschwenden. Das Erfreuliche daran: Geschmack lässt sich trainieren. Ein kleineres Schülermodell, Qwen3.6-27B, lernte von einem Lehrer und verbesserte sich bei ungesehenen Fragen von 30 auf 47,9 Prozent. Seine Ratschläge erhöhten dann die Erfolgsquote bei 41 ausstehenden Coding-Aufgaben von 14,6 auf 33,7 Prozent.
Faire Vorbehalte. Rückblickende Etiketten zeigen, welcher Weg funktioniert hat, nicht unbedingt der objektiv beste. Bei jeder Frage handelt es sich um eine einfache Zwei-Wege-Entscheidung, echte Entscheidungen sind chaotischer und für das Beratungsexperiment wurden nur 41 Aufgaben verwendet. Menschen bestätigten „fast alle“ automatisch generierten Etiketten, nicht alle.
Was das für Sie bedeutet: Wenn Sie einen Agenten über einen längeren Zeitraum laufen lassen, prüfen Sie die frühen Entscheidungspunkte, wie den Plan und den ersten Ansatz, und nicht erst am Ende. Hier ist ein falsches Abbiegen am teuersten und die heutigen Modelle scheinen dort am wenigsten zuverlässig zu sein.
Quellen
KI-Arbeitsberichte verbergen oft die schlechten Nachrichten, und ein Satz hilft
Eine Studie von Google, MIT und Harvard kommt zu dem Ergebnis, dass Modelle über Fehler in ihrer eigenen Arbeit Bescheid wissen, diese jedoch häufig aus dem Bericht herauslassen. Das Hinzufügen von „Seien Sie ehrlich in Ihrer Antwort“ machte einen großen Unterschied.
