I ricercatori hanno affidato una startup ai modelli IA per 500 giorni. Quasi tutti sono falliti.
CEO-Bench di Princeton verifica se gli agenti IA sappiano guidare un’azienda nel tempo, non soltanto completare singoli compiti. Solo tre modelli hanno chiuso sopra il capitale iniziale e un semplice script basato su regole ha battuto quasi tutti.
I ricercatori di Princeton hanno affidato lo stesso incarico a quattordici modelli IA: gestire per 500 giorni simulati una startup software immaginaria chiamata NovaMind, partendo da un milione di dollari e zero clienti. Quasi tutti hanno esaurito il denaro.
Il benchmark, chiamato CEO-Bench, è piacevolmente spietato. L’agente IA, un modello che agisce autonomamente attraverso molti passaggi, controlla tutto tramite il codice: prezzi, budget pubblicitari, capacità di assunzione, sviluppo del prodotto, trattative con clienti aziendali e persino i post su un social network simulato. I ricavi arrivano tardi, i costi incidono subito, la soddisfazione dei clienti resta invisibile e deve essere dedotta da segnali imprecisi come cancellazioni e ticket di assistenza. Se il saldo bancario scende sotto zero anche una sola volta, la partita finisce.
Solo tre modelli hanno concluso la propria prova migliore con un capitale superiore a quello iniziale: Claude Fable 5 con 47,15 milioni di dollari, Claude Opus 4.8 con 27,8 milioni e GPT-5.5 con 21,3 milioni. La parte che invita all’umiltà: un semplice script basato su regole e completamente privo di IA, prezzi fissi, quote fisse e qualche adeguamento della capacità, ha guadagnato 15,76 milioni di dollari, battendo tutti gli altri modelli. Anche il vincitore richiede una precisazione: una delle prove di Fable 5 si è interrotta perché il modello si è rifiutato di proseguire, mentre GPT-5.5 è fallito in due prove su tre. I ricercatori stimano un massimo teorico di circa 2,2 miliardi di dollari, quindi persino le prove migliori hanno ottenuto soltanto una piccola parte di quanto era possibile.
Che cosa c’è dietro? Gli agenti IA di oggi sono davvero bravi nei compiti che hanno un obiettivo chiaro e un riscontro rapido: correggere questo bug, rispondere a questo ticket. Gestire qualcosa nel tempo richiede una capacità diversa: stabilire priorità, spendere denaro che darà frutti settimane dopo, accorgersi che il mercato è cambiato. Lo studio ha rilevato che i modelli più efficaci hanno continuato a sperimentare quando le condizioni cambiavano, mentre quelli prudenti sono sopravvissuti tagliando i costi, senza però realizzare profitti. Un altro risultato da conoscere: gli stessi modelli hanno ottenuto prestazioni peggiori quando venivano eseguiti attraverso strumenti di programmazione come Claude Code o Codex. I ricercatori sospettano che i prompt di sistema ottimizzati per programmare ostacolino il giudizio aziendale. Lo strumento che avvolge un modello cambia ciò in cui è bravo.
Cosa significa per te: Se ti sei chiesto se potresti affidare la tua azienda, un progetto personale o persino il bilancio familiare a un agente IA e disinteressartene, la risposta è: non ancora. Questa è la misurazione più chiara del perché. Usa l’IA per i singoli passaggi: l’analisi, la bozza, la ricerca. Tieni tu le mani sul volante. E quando quest’anno qualcuno ti proporrà un «dipendente IA autonomo», ricorda che uno script con regole fisse ha guadagnato più di undici modelli di frontiera.
Fonti
Claude Science: Anthropic crea un ambiente di lavoro IA che conserva i dati di ricerca sui tuoi computer
La nuova app di Anthropic per i ricercatori riunisce oltre 60 competenze scientifiche e un agente di verifica che controlla le citazioni; inoltre funziona in locale, così i dati sensibili non lasciano mai il laboratorio.
