KI-Rechercheagenten scheitern nicht an der Suche, sondern daran, dir Fragen zu stellen
Ein neuer Benchmark von Tencent und der Tsinghua-Universität zeigt: Bei mehrdeutigen Fragen schneiden KI-Agenten, die intensiver suchen, schlechter ab als solche, die einfach den Nutzer fragen, und selbst das beste Modell bleibt unter 50 Prozent.
Falls ein KI-Assistent schon einmal selbstbewusst das Falsche für dich recherchiert hat, erklärt eine neue Studie, warum, und die Ursache ist wahrscheinlich nicht das, was du vermutest. Forschende bei Tencent Hunyuan und der Tsinghua-Universität haben DiscoBench entwickelt, einen Benchmark, der prüft, wie KI-Suchagenten mit einem sehr menschlichen Problem umgehen: Fragen, die ungenau oder unvollständig sind oder einen Fehler enthalten. Ihr Ergebnis: Die Agenten scheitern selten daran, dass sie nicht suchen können. Sie scheitern, weil sie nicht innehalten und dich fragen, was du eigentlich meintest.
Der Benchmark enthält 211 mehrstufige Rechercheaufgaben mit 463 absichtlich mehrdeutigen Punkten, ein Name, der auf mehrere Personen passt, eine unklare Version oder Zeitspanne, ein eingebauter Sachfehler. Bei jedem Schritt kann der Agent weitersuchen, dem Nutzer eine klärende Frage stellen oder antworten. Elf aktuelle Modelle wurden getestet, und keines erreichte 50 Prozent. Das beste, ByteDances Doubao Seed 2.0 Pro, kam auf eine durchgängige Genauigkeit von 43,1 Prozent, gefolgt von Gemini 3.1 Pro mit 40,8 und Claude Opus 4.7 mit 39,8 Prozent. Entfernt man die Mehrdeutigkeit aus denselben Fragen, steigt die Genauigkeit um bis zu 40 Prozentpunkte. Das Problem ist nicht die Recherche, sondern das Missverständnis.
Was steckt dahinter? Besonders interessant ist die Verhaltensanalyse. Agenten, die zunächst suchten und anschließend eine Rückfrage stellten, waren bei mehrdeutigen Schritten in 93,4 Prozent der Fälle erfolgreich. Agenten, die ohne Nachfrage rieten, kamen auf 56,5 Prozent. Am schlechtesten schnitten mit 51,9 Prozent Agenten ab, die immer wieder suchten, aber nie fragten, noch schlechter als bloßes Raten. Die Deutung der Forschenden: Die wiederholte Suche zeigt, dass das Modell spürte, dass etwas nicht stimmte, diesen Zweifel aber nie in eine Frage verwandelte. In einer mehrstufigen Recherchekette vergiftet eine falsche Vermutung am Anfang unbemerkt alles, was folgt. Selbst die ausdrückliche Aufforderung, auf Mehrdeutigkeiten zu achten, half den Modellen nur wenig, sie erkannten unklare Fragen besser, lösten sie aber nicht besser auf. Ein Vorbehalt: Die Aufgaben sind überwiegend auf Chinesisch und spiegeln die chinesischsprachige Websuche wider, daher könnten sich die genauen Zahlen in anderen Sprachen verschieben.
Was das für dich bedeutet: Die praktische Lehre ist erfreulich einfach: Der größte Hebel für bessere KI-Rechercheergebnisse ist, dass du präzise formulierst. Welche Person, welche Version, welcher Zeitraum, nach welchem Maßstab bewertet, diese Angaben von Anfang an auszuschreiben, kann mehr bringen als jedes Modell-Upgrade. Und wenn eine KI die Ergebnisse einer Tiefenrecherche mit völliger Gewissheit präsentiert, denk daran, dass sie sich fast nie gefragt hat, ob sie die Aufgabe verstanden hat. Wenn ein Ergebnis falsch riecht, prüfe den ersten Schritt ihrer Argumentation, nicht den letzten, dort sitzen die falschen Annahmen. Achte auf Assistenten, die klärende Fragen stellen; nach diesen Erkenntnissen ist das eine Eigenschaft, die du dir ausdrücklich wünschen solltest.
Quellen
Schnellere Hausaufgaben, schlechtere Prüfungen: Eine Studie mit 26.000 Schülern beziffert die versteckten Lernkosten von KI
Eine 30-monatige Studie mit chinesischen Schülern zeigt: KI-Nutzer erledigten Hausaufgaben schneller und erzielten bessere Noten, schnitten in Prüfungen aber um bis zu 24 Prozent schlechter ab, wobei das volle Ausmaß erst nach zwei Jahren sichtbar wurde.
