Anthropic-Studie: Experten übernahmen die zufälligen Meinungen eines KI-Agenten und empfanden sie als ihre eigenen
In einem Anthropic-Experiment folgten 50 Experten in 86 % der Fälle der Münzwurfpräferenz eines KI-Agenten bei den Analyseentscheidungen, und die meisten waren der Meinung, dass das Ergebnis immer noch größtenteils bei ihnen lag.
Hier ist ein Ergebnis, mit dem es sich zu beschäftigen lohnt. Anthropic hat 50 Experten für Kausalinferenz (ein Zweig der Statistik, bei dem es darum geht, herauszufinden, was was wirklich verursacht) gebeten, Daten einer fiktiven landwirtschaftlichen Genossenschaft zu analysieren und dabei einen KI-Agenten als Helfer einzusetzen. Die Präferenz des Agenten bei jedem Urteilsspruch wurde heimlich durch einen Münzwurf festgelegt. Bei vier Analyseentscheidungen entschieden sich die Experten in 86 % der Fälle für die Seite des Agenten, wobei der Zufall etwa 50 % ergeben würde.
Die Aufgabe bestand darin, zu entscheiden, ob ein freiwilliges landwirtschaftliches Beratungsprogramm erweitert, beendet oder verlängert werden sollte. Bei jeder Entscheidung gab es zwei vernünftige Optionen, und dem Agenten war es nicht gestattet, zu lügen oder Daten zu verbergen. Es argumentierte lediglich für die ihm zugewiesene Seite und legte in der Regel zuerst seinen Standpunkt dar. Als sich die Leute bereits entschieden hatten, wurden sie dennoch von einem nicht einverstandenen Agenten bewegt: Ungefähr 60 % wechselten, wenn er anderer Meinung war, gegenüber 6 %, als er zustimmte, obwohl diese Zahl nur auf 38 Fälle beruht. Erfahrung, selbst eingeschätzte Fähigkeiten und Ausbildung ließen nicht vorhersagen, wer dem Agenten folgte.
Der hervorstechende Teil ist das Eigentum. Etwa 77 % der Teilnehmer wiederholten in ihren eigenen Erklärungen mindestens eines der Argumente des Agenten, teilweise fast wörtlich, doch nur 15 % erwähnten die KI. Etwa die Hälfte gab an, dass sich die endgültige Empfehlung eher wie ihre eigene anfühlte als die des Agenten. Die endgültige Empfehlung selbst wurde nur geringfügig beeinflusst, aber die früheren Analyseentscheidungen prägten die Zahlen, die ihr zugrunde lagen.
Was dahinter steckt: Dies ist keine Geschichte darüber, dass KI im Job schlecht ist. Mit dem Mittel durchgeführte Analysen wiesen in 3 von 50 Fällen (6 %) schwerwiegende Mängel auf, ohne es in 6 von 11 (55 %), obwohl die Gruppe ohne KI klein und weniger erfahren war, sodass der Vergleich wenig beweist. Die Sorge ist subtiler: Wenn viele Teams dasselbe Modell mit denselben Standardtendenzen verwenden, könnten sie zu denselben Schlussfolgerungen gelangen und dies mit einer Vereinbarung verwechseln. Und die menschliche Überprüfung funktioniert nur als unabhängige Überprüfung, „wenn ihr Urteil ihr eigenes ist“, wie die Autoren es ausdrücken.
Ein fairer Vorbehalt: Die Neigungen der Agenten wurden bewusst gestärkt, die Studie deckt eine Aufgabe, ein Feld und ein Modell ab (Claude Opus 4.8) und 50 Personen sind eine kleine Stichprobe. Die Auswirkungen in der realen Welt können geringer ausfallen.
Was das für Sie bedeutet: Sie müssen nicht aufhören, KI für die Analyse oder das Schreiben zu verwenden. Aber man kann sich die Ideen der Forscher ausleihen. Machen Sie sich eine eigene grobe Meinung, bevor Sie den Assistenten fragen. Bitten Sie es, das stärkste Argument für beide Optionen zu argumentieren, nicht nur seinen Favoriten. Und wenn Sie jemandem eine Entscheidung erklären, achten Sie darauf, ob die Begründung wirklich von Ihnen stammt. Wenn Sie ein Team leiten, entscheiden Sie, welche Urteile zuerst bei einer Person verbleiben sollen, die Zeit zum Nachdenken hatte.
Quellen
Quellen: https://www.anthropic.com/research/agents-judgment-calls
Cisco gibt einem 27-Jährigen unbegrenzt KI-Tokens, um seinen Legacy-Code neu zu schreiben
Der Produktchef von Cisco sagt, ein junger ehemaliger Gründer habe vier Wochen Zeit, um zu beweisen, dass KI 98 % des alten Codes des Unternehmens neu schreiben kann, ein Ziel, das nur aus Ciscos eigenem Bericht hervorgeht.
