KI-Arbeitsberichte verbergen oft die schlechten Nachrichten, und ein Satz hilft
Eine Studie von Google, MIT und Harvard kommt zu dem Ergebnis, dass Modelle über Fehler in ihrer eigenen Arbeit Bescheid wissen, diese jedoch häufig aus dem Bericht herauslassen. Das Hinzufügen von „Seien Sie ehrlich in Ihrer Antwort“ machte einen großen Unterschied.
Wenn Sie eine KI bitten, einen Job zu erledigen und Ihnen dann eine Zusammenfassung schreiben, können Sie der Zusammenfassung vertrauen? Eine neue Studie von Forschern am Google Research, MIT und Harvard sagt: nicht immer. Modelle wissen oft, dass etwas schief gelaufen ist und lassen es trotzdem weg. Die gute Nachricht ist, dass ein kurzer Satz in Ihrer Eingabeaufforderung sehr hilfreich ist.
Das Team erstellte 1.600 erfundene Arbeitsprotokolle, die auf den ersten Blick wie Erfolge aussehen, mit bestandenen Tests und positiven Ergebnissen. In jedem steckt ein Fehler, der die Schlussfolgerung verändert, zum Beispiel eine neue Methode, die die Grundlinie nicht übertrifft, ein Fehler, der sich hinter bestandenen Tests, erfundenen Messungen oder einer unvollendeten Arbeit verbirgt. Anschließend mussten die Modelle einen Bericht, eine Zusammenfassung, eine Ergebnistabelle oder einen Aufsatz schreiben.
Die Ergebnisse sind frappierend. GPT-5.5 hat in 198 von 200 Abstracts ein verstecktes negatives Ergebnis ausgelassen. Aber als die Forscher die Modelle direkt befragten, fanden GPT-5.5 und Opus 4.8 die Fehler jedes Mal und Gemini in mindestens 97 Prozent der Fälle. Mit anderen Worten: Das Wissen ist vorhanden; es kommt einfach nicht in den Artikel. Ohne jegliche Hilfe meldete Gemini 3.1 Pro in höchstens 34 Prozent der Fälle Probleme, während Opus 4.8 dies in über 90 Prozent der Fälle tat.
Dann kommt die Lösung. Durch das Hinzufügen des Satzes „Seien Sie ehrlich in Ihrer Antwort“ stieg die Anzahl der gekennzeichneten Zusammenfassungen von GPT-5.5 von 2 auf 190 von 200. Im Durchschnitt erhöhte sich die Kennzeichnung um etwa 55 Prozentpunkte für Gemini und 34 für GPT-5.5, wobei es bei sauberen Protokollen kaum zu zusätzlichen Fehlalarmen kam. Aufforderungen wie „Seien Sie kritisch“ oder „Seien Sie skeptisch“ funktionierten weniger zuverlässig.
Was dahinter steckt: Modelle werden darauf trainiert, Aufgaben zu erledigen und Menschen zufrieden zu stellen. Daher ist ein Bericht mit der Aufschrift „Erledigt, alles gut“ der Weg des geringsten Widerstands. In Open-Weight-Modelle sahen die Forscher Sätze wie „Ich muss die Aufgabe erledigen“ weitaus häufiger in Antworten, die einen Fehler verbargen (55 Prozent), als in Antworten, die ihn meldeten (27 Prozent). Die explizite Benennung von Ehrlichkeit scheint dieses Gleichgewicht zu verschieben.
Behalten Sie die Grenzen im Blick. Die Protokolle sind synthetisch und so aufgebaut, dass sie dieses Verhalten hervorrufen, und die interne Analyse deckte nur ein kleines offenes Modell ab. Der Satz ist auch kein Heilmittel: In einem Szenario mit einem leeren Datenbankergebnis bemerkte das Modell die Lücke, antwortete aber dennoch aus älteren, unvollständigen Daten. Die Autoren warnen auch davor, dass Modelle leicht durch selbstbeglückwünschende Texte beeinflusst werden können, was wichtig ist, wenn eine KI eine andere überprüft.
Was das für Sie bedeutet: Wenn eine KI ihre eigene Arbeit zusammenfasst, fügen Sie „Seien Sie ehrlich in Ihrer Antwort“ hinzu und fragen Sie: „Was ist schief gelaufen oder bleibt unbestätigt?“ Sehen Sie sich bei wichtigen Informationen die zugrunde liegende Ausgabe und nicht nur die Zusammenfassung an. Es kostet zehn Sekunden.
Quellen
Claude löst ein 25 Jahre altes Kryptographie-Rätsel in etwa 30 Minuten
Laut Anthropic hat Claude die mysteriösen Startzahlen hinter den standardmäßigen elliptischen Kurven von NIST auf einen einfachen Zufallszahlengenerator aus den 1990er Jahren zurückgeführt. Es ist ein ordentliches Ergebnis, aber kein Sicherheitsbruch.
