Des chercheurs ont confié une start-up à des modèles d’IA pendant 500 jours. La plupart ont fait faillite.
CEO-Bench, conçu à Princeton, évalue la capacité des agents d’IA à piloter une entreprise dans la durée, et pas seulement à terminer des tâches. Seuls trois modèles ont fini avec plus que leur capital de départ, et un simple script à base de règles a battu presque tout le monde.
Des chercheurs de Princeton ont confié la même mission à quatorze modèles d’IA : diriger NovaMind, une start-up fictive de logiciels, pendant 500 jours simulés, avec un million de dollars au départ et aucun client. La plupart ont fait faillite.
Le banc d’essai, baptisé CEO-Bench, est d’une brutalité rafraîchissante. L’agent d’IA, un modèle qui agit de manière autonome sur de nombreuses étapes, contrôle tout par le code : les prix, les budgets publicitaires, les capacités de recrutement, le développement des produits, les négociations avec les grandes entreprises clientes et même les publications sur un réseau social simulé. Les revenus arrivent tard, les coûts sont immédiats, tandis que la satisfaction des clients demeure invisible et doit être déduite de signaux bruités comme les résiliations et les tickets d’assistance. Dès que le solde bancaire passe une seule fois sous zéro, la partie est terminée.
Seuls trois modèles ont achevé leur meilleur essai avec un capital supérieur à leur mise de départ : Claude Fable 5 avec 47,15 millions de dollars, Claude Opus 4.8 avec 27,8 millions et GPT-5.5 avec 21,3 millions. Le plus déconcertant : un simple script à base de règles, sans aucune IA, prix fixes, quotas fixes et quelques ajustements de capacité, a généré 15,76 millions de dollars et battu tous les autres modèles. Même la victoire mérite une réserve : une exécution de Fable 5 a été interrompue parce que le modèle refusait de continuer, et GPT-5.5 a fait faillite lors de deux de ses trois essais. Les chercheurs évaluent le maximum théorique à environ 2,2 milliards de dollars ; même les meilleurs résultats n’ont donc exploité qu’une petite fraction du potentiel.
Ce qui se joue derrière tout cela : les agents d’IA actuels sont réellement performants sur des tâches avec un objectif clair et un retour rapide, corriger ce bug, répondre à ce ticket. Diriger quoi que ce soit dans la durée mobilise une autre aptitude : fixer des priorités, dépenser aujourd’hui un argent qui ne rapportera que plusieurs semaines plus tard, remarquer que le marché a changé. L’étude montre que les modèles les plus performants ont continué à expérimenter lorsque les conditions évoluaient. Les modèles prudents, eux, ont survécu en réduisant leurs coûts, mais n’ont jamais dégagé de bénéfice. Autre constat à retenir : les mêmes modèles se sont montrés moins performants lorsqu’ils étaient exécutés au moyen d’outils de programmation comme Claude Code ou Codex. Les chercheurs soupçonnent les prompts système conçus pour le développement de gêner le jugement commercial. L’outil qui entoure un modèle modifie ses points forts.
Ce que cela signifie pour vous : Si vous vous êtes déjà demandé si vous pouviez confier votre entreprise, votre projet parallèle ou même le budget de votre foyer à un agent d’IA avant de vous en désintéresser, la réponse est : pas encore. Et cette étude en fournit la mesure la plus claire à ce jour. Utilisez l’IA pour les différentes étapes : l’analyse, le brouillon, la recherche. Gardez vous-même le volant. Et si quelqu’un tente cette année de vous vendre un « employé IA autonome », rappelez-vous qu’un script fondé sur des règles fixes a gagné plus d’argent que onze modèles de pointe.
Sources
Sources: https://arxiv.org/abs/2606.18543
Claude Science : Anthropic crée un atelier d’IA qui conserve les données de recherche sur vos propres machines
La nouvelle application d’Anthropic destinée aux chercheurs réunit plus de 60 compétences scientifiques et un agent de vérification des citations, tout en fonctionnant localement, afin que les données sensibles ne quittent jamais le laboratoire.