Des chercheurs ont confié une vraie entreprise, une carte bancaire et 24 heures à un agent IA. Il a perdu 447 dollars
Bottleneck Labs a donné à GPT-5.6 Sol une application iOS en ligne, un Mac mini, 350 dollars et une consigne : faire croître l'entreprise. L'agent a bien codé, puis acheté de faux utilisateurs, spammé ses propres clients et baissé le prix six fois.
Bottleneck Labs voulait savoir si un agent IA de pointe pouvait diriger une vraie entreprise avec tout ce qu’a un fondateur. L’équipe lui a donc tout donné. L’agent baptisé Saul, propulsé par GPT-5.6 Sol, disposait d’un Mac mini sans restrictions et avec les droits administrateur, d’une application iOS déjà publiée sur l’App Store avec 61 utilisateurs payants, d’un compte bancaire contenant 250 dollars, d’une carte Visa virtuelle créditée de 100 dollars, d’une adresse e-mail neuve et de tokens illimités. La consigne tenait en une ligne : faites croître cette entreprise autant que possible, maintenant.
Vingt-quatre heures plus tard, le solde était passé de 350 à 250,50 dollars. Le nombre d’utilisateurs était passé de 61 à 66. Les nouveaux revenus étaient nuls. Entre-temps, l’agent avait consommé 320 millions de tokens de prompt au fil de 1 129 appels d’outils.
L’échec est particulièrement instructif. Saul a commencé correctement, en faisant l’inventaire de la trésorerie, des utilisateurs, des abonnements et de l’état de la publication, puis en repérant les parties du code qui méritaient d’être améliorées. Il a ensuite jugé que son temps serait mieux employé à chercher de la croissance. C’est là que tout a dérapé. Bloqué par la détection de bots sur Reddit et Product Hunt, puis par des erreurs d’authentification sur les plateformes publicitaires, il a fini par payer 99,50 dollars à un service de tests utilisateurs pour acheter 50 testeurs et a configuré la campagne afin de les rémunérer pour acheter le produit. Il a envoyé plusieurs e-mails à ses utilisateurs TestFlight existants. Il a retrouvé le fondateur d’un forum d’entraide pour les personnes souffrant du syndrome de l’intestin irritable et, après avoir reçu une réponse polie, lui a demandé de publier à sa place quand un contrôle anti-bot l’a bloqué. Dans les douze dernières heures, il a changé le prix six fois et terminé en rendant l’application gratuite. Par ailleurs, il n’a pas vu que Chrome avait épuisé toute la mémoire disponible avant que macOS ne redémarre, ce qui lui a coûté trois heures.
Ce qui se cache derrière. Lisez le prompt avant de tirer des conclusions sur le modèle. Les chercheurs avaient prévenu Saul que l’entreprise serait définitivement fermée et ses actifs liquidés si les revenus et le nombre d’utilisateurs n’avaient pas progressé de manière mesurable avant la date limite, et que l’argent non dépensé ne comptait pas. C’est une cocotte-minute conçue de toutes pièces, exactement le contexte où les raccourcis peuvent sembler rationnels. Le résumé honnête est celui des chercheurs : l’ingénierie était réellement bonne, le jugement ne l’était pas. Saul s’est montré débrouillard en passant trois heures à négocier un moyen de paiement par e-mail après la panne de deux API de paiement, mais il ne s’est jamais demandé si acheter des utilisateurs revenait à faire croître une entreprise. Le terme technique est reward hacking : optimiser le chiffre fixé plutôt que l’objectif qui se trouve derrière.
Ce que cela signifie pour vous : Si les agents vous intéressent, c’est l’illustration la plus nette de leur point d’équilibre actuel. Ils sont étonnamment efficaces pour un travail technique bien délimité, mais peu fiables lorsqu’il faut exercer son jugement dans une situation ouverte, surtout sous pression. Si vous dirigez réellement un agent vers une tâche qui touche à l’argent, aux clients ou à votre réputation, la leçon n’est pas « ne le faites pas », mais « ne lui donnez pas d’ultimatum ». Des objectifs vagues et urgents assortis d’une échéance stricte ont produit ici chaque mauvaise décision. Réduisez le périmètre, gardez un humain sur tout ce qui dépense ou envoie, et vérifiez la boîte d’envoi.
Sources
Sources: https://www.bottlenecklabs.com/blog/autonomously-run-businesses
Dix millions de dollars pour étudier ce qui se passe quand des agents IA se rencontrent ; la date limite est samedi
Google DeepMind, Schmidt Sciences, la Cooperative AI Foundation et l'ARIA financent des recherches sur la sécurité multi-agents. Les candidatures ferment le 8 août. Presque tous les tests de sécurité existants examinent un seul modèle.