Forscher ließen KI-Modelle 500 Tage lang ein Start-up führen. Die meisten gingen pleite.
CEO-Bench aus Princeton prüft, ob KI-Agenten ein Unternehmen langfristig steuern können, statt nur Aufgaben abzuschließen. Lediglich drei Modelle lagen am Ende über ihrem Startkapital, und ein simples regelbasiertes Skript schlug fast alle.
Forscher aus Princeton gaben vierzehn KI-Modellen denselben Auftrag: Sie sollten 500 simulierte Tage lang ein fiktives Software-Start-up namens NovaMind führen, mit einer Million Dollar Startkapital und ohne einen einzigen Kunden. Die meisten gingen pleite.
Der Benchmark namens CEO-Bench ist erfrischend schonungslos. Der KI-Agent, ein Modell, das über viele Schritte hinweg selbstständig handelt, steuert alles über Code: Preise, Werbebudgets, Einstellungskapazitäten, Produktentwicklung, Verhandlungen mit Unternehmenskunden und sogar Beiträge in einem simulierten sozialen Netzwerk. Umsätze kommen spät, Kosten fallen sofort an, und die Kundenzufriedenheit bleibt unsichtbar und muss aus verrauschten Signalen wie Kündigungen und Supportanfragen erschlossen werden. Fällt der Kontostand auch nur einmal unter null, ist das Spiel vorbei.
Nur drei Modelle schlossen ihren jeweils besten Durchlauf mit mehr als dem Startkapital ab: Claude Fable 5 mit 47,15 Millionen Dollar, Claude Opus 4.8 mit 27,8 Millionen Dollar und GPT-5.5 mit 21,3 Millionen Dollar. Der ernüchternde Teil: Ein simples regelbasiertes Skript ganz ohne KI, feste Preise, feste Quoten und ein wenig Anpassung der Kapazitäten, erwirtschaftete 15,76 Millionen Dollar und schlug jedes andere Modell. Auch beim Sieger ist eine Einschränkung angebracht: Ein Durchlauf von Fable 5 wurde abgebrochen, weil das Modell sich weigerte weiterzumachen, und GPT-5.5 ging in zwei seiner drei Durchläufe pleite. Die Forscher schätzen das theoretische Maximum auf rund 2,2 Milliarden Dollar. Selbst die besten Ergebnisse schöpften also nur einen kleinen Teil des Möglichen aus.
Was dahintersteckt: Heutige KI-Agenten sind tatsächlich gut in Aufgaben mit einem klaren Ziel und schnellem Feedback, behebe diesen Fehler, beantworte diese Anfrage. Etwas über längere Zeit zu führen, verlangt eine andere Fähigkeit: Prioritäten setzen, Geld ausgeben, dessen Ertrag erst Wochen später kommt, und erkennen, dass sich der Markt verändert hat. Die Studie ergab, dass die erfolgreichsten Modelle bei veränderten Bedingungen weiter experimentierten. Vorsichtige Modelle überlebten dagegen zwar durch Kostensenkungen, erzielten aber nie Gewinn. Eine weitere wichtige Erkenntnis: Dieselben Modelle schnitten schlechter ab, wenn sie über Programmierwerkzeuge wie Claude Code oder Codex ausgeführt wurden. Die Forscher vermuten, dass auf Programmierung zugeschnittene System-Prompts dem geschäftlichen Urteilsvermögen im Weg stehen. Das Werkzeug um ein Modell herum verändert, worin es gut ist.
Was das für dich bedeutet: Falls du dich gefragt hast, ob du dein Unternehmen, dein Nebenprojekt oder sogar dein Haushaltsbudget einem KI-Agenten übergeben und dich zurücklehnen könntest: noch nicht. Dies ist die bislang deutlichste Messung dafür, warum. Nutze KI für die einzelnen Schritte, die Analyse, den Entwurf, die Recherche. Behalte das Steuer selbst in der Hand. Und wenn dir dieses Jahr jemand einen „autonomen KI-Mitarbeiter“ verkaufen will, denk daran, dass ein Skript mit festen Regeln elf Spitzenmodelle übertroffen hat.
Quellen
Quellen: https://arxiv.org/abs/2606.18543
Claude Science: Anthropic baut eine KI-Arbeitsumgebung, die Forschungsdaten auf den eigenen Rechnern belässt
Anthropics neue App für Forschende bündelt mehr als 60 wissenschaftliche Fähigkeiten sowie einen Prüfagenten für Quellenangaben, und läuft lokal, damit sensible Daten das Labor nie verlassen.
