Google et Amazon souhaitent tous deux que votre code PyTorch s'exécute sur leurs puces, et non sur celui de Nvidia

Google et Amazon ont chacun publié un outil visant à exploiter l’un des avantages les plus silencieux de Nvidia : les développeurs de logiciels écrivent déjà. Selon TechCrunch du 20 octobre, Google a annoncé TorchTPU, une version open source de PyTorch qui fonctionne sur ses Tensor Processing Units (TPU), et Amazon a annoncé TorchNeuron un jour plus tôt pour ses puces Trainium. Tous deux affirment que les programmes PyTorch existants peuvent être migrés avec « un simple changement de configuration » et sans réécriture.

PyTorch est la boîte à outils de programmation avec laquelle la plupart des applications d’IA sont créées. Meta l’a créé en 2016 et l’a transmis à Linux Foundation en 2022. TechCrunch indique que certains comptes estiment son utilisation à 85 % des applications d’IA, bien que ce chiffre ne soit pas fiable. Google indique qu’il a fonctionné avec Meta, Hugging Face, Inferact (fabricant de vLLM), RadixArk (fabricant de SGLang) et d’autres, donc TorchTPU fonctionne bien avec les outils populaires. Il a également publié une « suite d’agents TPU » pour aider les développeurs à porter des applications et à corriger les erreurs en cours de route, et a mis à jour LiteRT, son outil permettant d’exécuter l’IA sur les téléphones et les ordinateurs portables. Amazon indique qu’il soumet du code à PyTorch lui-même qui « dissocie diverses fonctionnalités des puces de Nvidia ».

Les mises en garde sont la partie importante. La couverture ne rapporte aucun chiffre d’adoption ni aucune comparaison de performances pour l’un ou l’autre outil. Il souligne également que cela ne signifie pas que les développeurs abandonneront automatiquement le matériel Nvidia. « Fonctionne avec un changement de configuration » est une promesse ; son efficacité sur des projets réels et compliqués reste à démontrer.

Ce qu’il y a derrière : une puce n’est utile que si le logiciel peut l’utiliser facilement. La plupart du code d’IA a été écrit et réglé en pensant aux GPU de Nvidia, car les fonctionnalités du PyTorch ont été construites autour d’eux. Cette commodité est l’une des principales raisons pour lesquelles les gens continuent d’acheter Nvidia, même lorsque d’autres puces peuvent être moins chères. Si passer chez un concurrent nécessite un week-end de réécriture, la plupart des équipes restent sur place. S’il faut un seul réglage, le coût de changement diminue et les prix pourraient être sous pression. Pensez-y comme aux chargeurs de téléphone : le connecteur, plus que la batterie, décide de ce que vous achetez.

Ce que cela signifie pour vous : pour la plupart des gens, rien ne change aujourd’hui. Au fil du temps, une concurrence accrue entre les fournisseurs de puces pourrait signifier des services d’IA moins chers et moins de dépendance à l’égard d’une seule entreprise. Si vous entraînez ou exécutez des modèles vous-même, attendez le benchmarks indépendant et testez votre propre charge de travail à petite échelle avant de déplacer quoi que ce soit.

Sources

• TechCrunch : Google a rejoint Amazon pour attaquer le bastion de Nvidia avec les développeurs d’applications d’IA
• GeekWire : Amazon remet en question l’avantage logiciel de Nvidia avec un nouvel outil pour ses propres puces IA
• The Neuron : Tout ce qui s’est passé dans l’IA aujourd’hui, le 21 octobre