Anthropic a embauché l'homme qui a construit les puces IA de Google, et la raison n'est pas subtile

Anthropic a embauché Amir Salek, l’ingénieur qui a fondé le programme Tensor Processing Unit de Google et a livré ses sept premières générations de puces avant de partir en 2022. Bloomberg a annoncé cette décision le 21 août. Salek rejoint l’équipe informatique d’Anthropic, relevant de James Bradbury, et vient de Cerberus Capital Management, où il était directeur général principal.

Vous n’engagez pas le fondateur d’un programme de puces pour négocier de meilleurs prix auprès des fournisseurs. Anthropic fonctionne actuellement sur du silicium provenant de trois fournisseurs différents : les GPU Nvidia, les TPU de Google et Trainium d’Amazon. L’entreprise a déjà engagé environ 250 millions de dollars dans Fractile, une entreprise dérivée d’Oxford qui fabrique des puces d’inférence qui ne seront pas prêtes à être mises en production avant 2027, et elle a publié des offres d’emploi dans le domaine du matériel. L’embauche de Salek est le signal le plus clair à ce jour que l’entreprise veut ses propres puces plutôt que de meilleures conditions sur celles de quelqu’un d’autre.

Le côté monétaire a évolué la même semaine. Broadcom serait en pourparlers pour lever plus de 60 milliards de dollars via un véhicule à usage spécial qui louerait des puces d’IA personnalisées à Anthropic et à d’autres, le montant total pouvant atteindre 100 milliards de dollars une fois qu’une tranche junior est incluse. Apollo et Blackstone seraient impliqués. Cela prolonge un pacte de juin qui engageait déjà 35 milliards de dollars pour le calcul anthropique, visant une capacité de 20 gigawatts d’ici 2028.

Deux forces poussent tous les grands laboratoires dans cette direction. Le premier est le coût : l’inférence, c’est-à-dire le travail effectué par un modèle à chaque fois que vous lui envoyez une invite, constitue désormais la dépense dominante, et les GPU à usage général font beaucoup de choses dont vous n’avez pas besoin si vous exécutez uniquement vos propres modèles. Le silicium personnalisé troque la flexibilité contre l’efficacité. Le deuxième est l’offre. Nvidia répartit ses meilleures puces entre de nombreux clients, et être l’un d’entre eux signifie que votre feuille de route dépend de celle de quelqu’un d’autre. OpenAI est parvenu à la même conclusion et dispose d’une puce conçue par Broadcom appelée Jalapeno. Google l’a atteint il y a dix ans, c’est pourquoi le CV de Salek vaut autant. Une mise en garde : les puces personnalisées prennent des années et des sommes énormes, et l’industrie dispose d’une longue liste de projets d’accélérateurs qui n’ont jamais été livrés. Rien ici n’arrive avant 2027.

Ce que cela signifie pour vous : à court terme, vous ne remarquerez rien. À plus long terme, c’est l’un des signaux les plus clairs de la direction que prendront les prix des modèles. Les laboratoires ne construisent leur propre matériel que lorsque le volume d’inférence est suffisamment important et stable pour justifier le coût initial, ce qui indique qu’ils s’attendent à ce que l’utilisation continue de grimper plutôt que de se stabiliser. Si cela fonctionne, il s’agit du principal levier pour rendre les modèles performants moins chers par demande, ce qui finit par vous parvenir sous la forme de prix d’API plus bas ou de niveaux gratuits plus généreux. Si vous suivez l’industrie en tant qu’investisseur ou constructeur, le constat le plus immédiat est que les infrastructures d’IA sont désormais financées par le type de structures de dette normalement réservées aux centrales électriques et aux réseaux de télécommunications.

##Sources

• Anthropic fait appel à un vétéran de la puce Google dans le cadre de Push Into Hardware, Bloomberg
• Anthropic envisage ses propres puces IA : pourquoi il a embauché un vétéran des puces Google, Outlook Business
• Broadcom recherche 60 milliards de dollars de dettes pour développer la capacité de puces d’Anthropic, The Next Web