KI-Agenten stehen vor einer echten Steuerprüfung und bestehen etwa jede neunte Aufgabe
Surge AIs neuer DAYJOB: Steuern Benchmark bietet Agenten 50 professionelle Steueraufträge. Das beste Modell liegt bei rund 11 Prozent unter der strengen 95-Prozent-Schwelle.
Wie gut sind KI-Agenten in der echten professionellen Arbeit? Surge AI, ein Unternehmen, das Daten- und Auswertungsdienste verkauft, hat einen neuen Test namens DAYJOB: Tax veröffentlicht. Es bietet Maklern 50 realistische Steueraufgaben in acht Bereichen, von Steuererklärungen für Privatpersonen und Kleinunternehmen bis hin zu Nachlässen, internationalen Steuern und Streitigkeiten. Jede Aufgabe bringt einen unordentlichen Arbeitsbereich mit sich: insgesamt 1.789 Dateien, hauptsächlich PDFs, aber auch Tabellenkalkulationen, Word-Dokumente und E-Mails, mit einem Durchschnitt von 30 Dateien pro Aufgabe. Steuerexperten haben jede Aufgabe, die erwarteten Antworten und die Bewertungsregeln geschrieben.
Die Bewertung ist von Natur aus streng. Ein Versuch ist nur dann erfolgreich, wenn er mindestens 95 Prozent der Bewertungskriterien erfüllt. Diese umfassen Berechnungen, Belege, Nebenprobleme, von denen der Kunde erfahren sollte, und die endgültige Leistung. Die Ergebnisse laut Surge: Claude Sonnet 5.5 hat 10,8 Prozent der Zuweisungen bestanden, Claude Fable 5.1 hat 9,6 Prozent bestanden und Claude Opus 5.5 hat 9,2 Prozent bestanden. In dem Beitrag heißt es, dass die Agenten „das Audit noch nicht bestanden haben“. Die Beispiele von Surge zeigen, wo es hapert. Eine Aufgabe umfasste den Verkauf einer Eigentumswohnung und eine Frist für den Wohnsitz im August 2027, die Opus in allen fünf Versuchen markierte. Ein anderer fragte, wie man Rentenkonten aufteilt, und Opus ging bei allen fünf Versuchen davon aus, dass das Paar unverheiratet war, anstatt dies zu überprüfen.
Was dahintersteckt: ein Benchmark ist eine standardisierte Prüfung für KI. Die meisten Älteren stellen kurze Fragen mit einer richtigen Antwort. Echte Jobs sehen anders aus: Dutzende Dateien, fehlende Informationen und die Notwendigkeit, zu bemerken, wonach niemand gefragt hat. Deshalb fallen die Werte hier so stark ab. Das Bestehen mit 95 Prozent spiegelt auch die Beurteilung der Arbeit in der Praxis wider, da eine falsche Zahl in einer Steuererklärung von großer Bedeutung sein kann, auch wenn der Rest hervorragend ist.
Seien Sie vorsichtig, bevor Sie große Schlussfolgerungen ziehen. Die drei besten Modelle liegen bei nur 50 Aufgaben innerhalb von 1,6 Prozentpunkten voneinander, sodass ihre Reihenfolge leicht mit einer anderen Stichprobe geändert werden kann und keine Konfidenzbereiche angezeigt werden. Surge erstellt und veröffentlicht den Benchmark und verkauft Evaluierungsdienste, sodass eine unabhängige Replikation hilfreich wäre. Bei den Fallstudien handelt es sich um handverlesene Beispiele, nicht um Statistiken. Der Artikel erwähnt auch ein Modell namens „Astra“, ohne es zu erklären.
Was das für Sie bedeutet: Wenn Sie KI für Steuern einsetzen, betrachten Sie sie als intelligenten Assistenten, der Entwürfe erstellt und erklärt, und niemals als das letzte Wort. Eine nützliche Angewohnheit besteht darin, direkt zu fragen: „Welche Fakten über meine Situation haben Sie angenommen und was sollte ich überprüfen?“ Für Profis bedeutet die Erkenntnis, dass eine Überprüfung weiterhin unerlässlich ist und dass diese Tests realistisch genug werden, dass es sich lohnt, sie zu befolgen.
Quellen
Quellen: https://surgehq.ai/blog/dayjob-tax
Survival LLM: Ein kostenloser Offline-KI-Assistent, der anhand vertrauenswürdiger Handbücher antwortet
Eine kostenlose Open-Source-App bündelt ein lokales KI-Modell mit Erste-Hilfe-, FEMA- und Reparaturanleitungen, sodass Sie nach der Einrichtung auch ohne Internet Fragen stellen können.
