Lorsque les agents sont devenus bavards, les marges de cette startup sont tombées à moins 50 %
Bloomberg rapporte que la société juridique d'IA Harvey a vu ses marges brutes chuter d'environ 50 % à moins 50 en juin, alors que l'utilisation des jetons a été multipliée par vingt. Il s'est rétabli en construisant un modèle interne sur le Kimi K3 ouvert de Moonshot.
Harvey vend des outils d’IA à des cabinets d’avocats et est valorisé à environ 15,6 milliards de dollars. Selon Bloomberg, sa marge brute est passée d’environ 50 pour cent au début de l’année à moins 50 pour cent en juin, ce qui signifie que chaque dollar de chiffre d’affaires coûte environ cinquante dollars pour servir. Le déclencheur a été une mise à jour de mars qui a transformé son produit en agents, un logiciel qui exécute une tâche en plusieurs étapes plutôt que de répondre à une seule question. L’utilisation des jetons a été multipliée par vingt. Parce qu’OpenAI et Anthropic facturent par jeton et qu’Harvey facture à ses clients un abonnement forfaitaire, toute cette augmentation a atterri sur Harvey.
La solution consistait à arrêter de louer le moteur. En août, Harvey a lancé son propre modèle interne, post-entraîné sur Kimi K3, le modèle à poids ouvert du laboratoire chinois Moonshot AI. La post-formation signifie prendre le modèle fini de quelqu’un d’autre et continuer à l’entraîner sur vos propres données et tâches, ce qui n’est possible que lorsque les poids sont téléchargeables. Les marges sont redevenues positives. Bloomberg cite Abridge dans le secteur de la santé, Decagon dans le support client et Ramp dans le secteur financier comme ayant pris des mesures similaires, avec le soutien de Sequoia Capital et de General Catalyst.
Qu’est-ce qu’il y a derrière ça
Il s’agit de la collision de deux modèles économiques qui n’ont jamais été conçus pour se rencontrer. Les éditeurs de logiciels ont toujours vendu des licences : un prix fixe par utilisateur et par mois, avec des coûts qui varient à peine lorsque l’utilisateur travaille plus dur. Les agents IA brisent cela, car un agent diligent qui vérifie son travail est un agent qui dépense plus d’argent, et plus votre produit s’améliore, plus la situation économique de votre unité se détériore. C’est une forme inhabituelle et assez brutale pour une entreprise.
Il existe trois solutions, et tout le monde en essaie une combinaison. Facturer les clients à l’usage, ce qu’ils détestent et qui rend les budgets imprévisibles. Attendez que les prix baissent, ce qui se produit, même si la demande a jusqu’à présent augmenté plus rapidement. Ou déplacez la charge de travail vers un modèle que vous contrôlez. La troisième option n’est devenue réaliste que parce que les modèles à poids ouvert des laboratoires chinois se sont révélés assez bons cette année, c’est pourquoi une start-up légale de New York finit par s’appuyer sur un modèle de Pékin. Il convient d’être précis concernant la mise en garde : exécuter votre propre modèle n’est pas gratuit, cela entraîne une facture par jeton pour le personnel d’ingénierie, le matériel et le risque de prendre du retard sur la frontière.
Ce que cela signifie pour vous : Si vous achetez un logiciel d’IA, demandez comment votre fournisseur paie l’inférence, car un fournisseur qui perd de l’argent pour chaque gros utilisateur finira par augmenter les prix, limiter l’utilisation ou vous diriger discrètement vers un modèle moins cher. Surveillez les plafonds d’utilisation apparaissant dans les forfaits que vous possédez déjà. Et si vous construisez quelque chose sur un modèle payant, mesurez l’utilisation des jetons par tâche terminée dès le début, et non après le lancement. Le signal intéressant pour tout le monde est que « les poids ouverts sont réservés aux amateurs » n’est plus vrai. Il s’agit désormais d’une décision de marge prise par des entreprises valant des milliards.
Sources
Le nouveau modèle d'Alibaba regarde et écoute, et ne facture presque rien pour cela
Qwen3.8-Omni-Flash gère le texte, les images, l'audio et la vidéo dans un seul modèle avec un contexte d'un million de jetons. Alibaba rapporte que les coûts horaires d'ingestion audio ont diminué de plus de 98 %. Pas de poids ouverts au lancement.
