Quando gli agenti sono diventati loquaci, i margini di questa startup sono scesi a meno del 50%.
Bloomberg riferisce che la società legale di intelligenza artificiale Harvey ha visto i margini lordi scendere da circa il 50% a meno 50 entro giugno, mentre l'uso dei token è aumentato di venti volte. Si è ripreso costruendo un modello interno sul Kimi K3 aperto di Moonshot.
Harvey vende strumenti di intelligenza artificiale a studi legali ed è valutato circa 15,6 miliardi di dollari. Secondo Bloomberg, il suo margine lordo è passato da circa il 50% all’inizio dell’anno a meno 50% entro giugno, il che significa che ogni dollaro di entrate costa circa un dollaro e cinquanta per servire. Il fattore scatenante è stato un aggiornamento di marzo che ha trasformato il suo prodotto in agenti, software che svolgono un’attività in molti passaggi anziché rispondere a una domanda. L’utilizzo dei token è aumentato di venti volte. Poiché OpenAI e Anthropic fanno pagare per token e Harvey addebita ai propri clienti un abbonamento fisso, tutto questo aumento è andato a finire su Harvey.
La soluzione era smettere di noleggiare il motore. Ad agosto, Harvey ha lanciato il proprio modello interno, post-addestrato su Kimi K3, il modello a peso aperto del laboratorio cinese Moonshot AI. Post-addestramento significa prendere il modello finito di qualcun altro e continuare ad addestrarlo sui propri dati e attività, cosa possibile solo quando i pesi sono scaricabili. I margini sono tornati positivi. Bloomberg cita Abridge nel settore sanitario, Decagon nell’assistenza clienti e Ramp nella finanza come coloro che hanno compiuto mosse simili, con il sostegno di Sequoia Capital e General Catalyst.
Cosa c’è dietro tutto questo?
Questa è la collisione di due modelli di business che non sono mai stati progettati per incontrarsi. Le società di software hanno sempre venduto posti: un prezzo fisso per utente al mese, con costi che si spostano a malapena quando l’utente lavora di più. Gli agenti di intelligenza artificiale lo rompono, perché un agente diligente che controlla il proprio lavoro è un agente che spende più soldi e quanto migliore diventa il tuo prodotto, peggiore sarà l’economia della tua unità. Questa è una forma insolita e piuttosto brutale per un’azienda.
Ci sono tre vie d’uscita e tutti ne provano un mix. Fai pagare ai clienti in base all’utilizzo, cosa che odiano e che rende i budget imprevedibili. Aspettano che i prezzi scendano, cosa che accade, anche se finora la domanda è aumentata più rapidamente. Oppure sposta il carico di lavoro su un modello che controlli. La terza opzione è diventata realistica solo perché i modelli a peso aperto dei laboratori cinesi sono diventati abbastanza buoni quest’anno, motivo per cui una startup legale di New York finisce per basarsi su un modello di Pechino. Vale la pena essere precisi sull’avvertenza: gestire il proprio modello non è gratuito, comporta uno scambio di costi per token con personale tecnico, hardware e il rischio di rimanere indietro rispetto alla frontiera.
Cosa significa per te: Se acquisti software di intelligenza artificiale, chiedi in che modo il tuo fornitore paga per l’inferenza, perché un fornitore che perde denaro su ogni utente abituale alla fine aumenterà i prezzi, limiterà l’utilizzo o ti indirizzerà silenziosamente verso un modello più economico. Controlla i limiti di utilizzo visualizzati nei piani che già possiedi. E se stai costruendo qualcosa su un modello a pagamento, misura l’utilizzo dei token per attività completata all’inizio, non dopo il lancio. Il segnale interessante per tutti gli altri è che “i pesi aperti sono per gli hobbisti” non è più vero. Ora è una decisione sui margini presa da aziende che valgono miliardi.
Fonti
Il nuovo modello di Alibaba guarda e ascolta e non fa pagare quasi nulla
Qwen3.8-Omni-Flash gestisce testo, immagini, audio e video in un unico modello con un contesto da milioni di token. Alibaba segnala che i costi orari di ingestione di audio sono diminuiti di oltre il 98%. Nessun peso aperto al momento del lancio.
