DeepSeek lance DeepInfer, le moteur qu'il utilise pour alimenter son modèle le moins cher
DeepSeek a open source le logiciel de service derrière V4.1-Flash sous Apache 2.0. Pas encore de chiffres de vitesse, mais cela pourrait réduire le coût d’exploitation du modèle vous-même.
DeepSeek a publié DeepInfer, le logiciel qu’il dit utiliser pour proposer son modèle V4.1-Flash aux clients. Selon The Decoder du 20 octobre, le code est publié sous la licence Apache 2.0, qui permet une utilisation gratuite, y compris dans des produits commerciaux. Il est construit sur vLLM, un outil de service open source populaire, et ajoute des routines de calcul plus rapides, des moyens de répartir le travail sur plusieurs puces et des techniques de génération de texte plus rapides.
DeepSeek a également publié un compagnon appelé deepseek-recipe. Son travail consiste à reproduire la façon dont l’API officielle de DeepSeek traite le texte, afin qu’un modèle que vous hébergez vous-même se comporte de la même manière que celui que vous loueriez. La société affirme que le code de ses futurs modèles sera également ouvert. Son objectif déclaré, publié sur X, est « d’aider la communauté à réduire les coûts de calcul, à réduire la consommation d’énergie et à rendre l’IA plus abordable ».
Voici la partie honnête : l’annonce est faite sans numéros benchmark, sans accélérations ni comparaisons de coûts. L’idée selon laquelle DeepInfer rend le fonctionnement de V4.1-Flash peu coûteux est le cadrage de DeepSeek, et non quelque chose de mesuré dans la couverture que nous avons trouvée. L’opinion de The Decoder selon laquelle cela ajoute une pression sur les prix sur les fournisseurs occidentaux, et peut être motivée par des raisons politiques, est l’analyse de l’auteur et non quelque chose que DeepSeek a dit.
Ce qu’il y a derrière : “l’inférence” est simplement l’acte d’utiliser un modèle entraîné, par opposition à son entraînement. Chaque fois que vous envoyez un message, un serveur effectue une inférence. La formation a lieu une fois et coûte une fortune ; l’inférence se produit des milliards de fois, donc réduire un peu le coût de chaque requête s’additionne. Un moteur de service est le contrôleur de trafic qui décide de la manière dont les requêtes sont regroupées, quelle puce gère quel élément et à quelle vitesse les mots reviennent. Deux entreprises peuvent utiliser le même modèle et payer des factures très différentes selon ce logiciel. En publiant le sien, DeepSeek offre à tous les autres la version optimisée qu’il garde pour lui-même.
Cela explique également pourquoi une entreprise connue pour ses modèles bon marché s’en soucie. Les poids des modèles étaient déjà ouverts ; l’ingrédient manquant pour les étrangers était la manière efficace de les gérer. Le DeepInfer comble en partie cet écart.
Ce que cela signifie pour vous : si vous discutez uniquement avec l’IA dans une application, rien ne change. Si vous ou votre entreprise hébergez des modèles ouverts, DeepInfer mérite d’être ajouté à vos favoris, mais attendez des tests indépendants avant de déplacer quoi que ce soit d’important. Une mise en garde pratique : vérifiez les règles de votre organisation concernant l’utilisation des produits DeepSeek, car certains gouvernements et employeurs les restreignent, et l’exécution de logiciels à partir de n’importe quelle source mérite d’abord un examen de sécurité.
Sources
Mercury 3 testé : un chatbot qui écrit sa réponse en morceaux, pas mot par mot
Le Mercury 3 d'Inception est un modèle de langage de diffusion revendiquant plus de 1 000 tokens par seconde à bas prix. Un examen pratique le révèle rapide et bon marché, avec des aspérités.
