Google a transformé un modèle fini en un modèle beaucoup plus rapide et a publié la recette

Presque tous les chatbots IA que vous avez utilisés écrivent de la même manière que vous taperiez un message texte : un mot à la fois, de gauche à droite, chaque mot étant choisi après celui qui le précède. Google DeepMind vient de publier le rapport technique de DiffusionGemma, un modèle qui fonctionne différemment. Il affine des blocs entiers de 256 jetons à la fois, de la même manière qu’un générateur d’images extrait une image du bruit, et ce à environ 1 500 jetons par seconde sur une puce Nvidia H100. Un jeton, en gros, est un morceau de mot, c’est donc une dactylo très rapide.

Le titre du rapport n’est cependant pas la vitesse. C’est le coût. Google n’a pas formé cela à partir de zéro. L’équipe a pris le modèle Gemma-4-26B-A4B existant et l’a converti en un modèle de diffusion en utilisant moins de dix pour cent du budget de formation initial. Deux étapes ont fait le travail : d’abord, le modèle apprend à reconstruire des blocs de texte délibérément bruyants, puis une phase combinée que Google appelle SD-RL mélange l’apprentissage par renforcement, qui améliore la qualité des réponses, avec la distillation de l’échantillonneur, qui apprend au modèle à se débrouiller avec moins d’étapes de calcul. Cette combinaison a augmenté les scores de raisonnement d’environ dix points en moyenne tout en multipliant presque par quatre le nombre de jetons produits par chaque étape de calcul.

Il y a un effet secondaire vraiment charmant. Un modèle normal doit s’engager sur le premier chiffre d’une réponse avant d’avoir terminé le raisonnement. Le rapport montre Gemma 4 commençant une réponse mathématique par “-1”, réalisant à mi-dérivation que “-25” est juste et abordant une correction. DiffusionGemma développe des réponses et des raisonnements en parallèle, afin de pouvoir corriger discrètement le mauvais numéro avant que tout ne soit définitif. Sur le Sudoku, où chaque entrée dépend des entrées qui arrivent plus tard, la version de diffusion résout près de 85 % des énigmes après de légers ajustements. Le modèle de base échoue complètement à la tâche.

Maintenant les mises en garde, car Google est inhabituellement franc à leur sujet. La qualité absolue est toujours à la traîne par rapport au Gemma 4 autorégressif d’origine, notamment en matière de raisonnement. Le modèle reste parfois bloqué en répétant des mots individuels, un artefact des étapes de calcul agressivement réduites. Sur les tâches multimodales, il oublie parfois de fermer sa section de raisonnement, ce qui fait baisser les scores. Et l’avantage en termes de vitesse s’applique en grande partie à un seul utilisateur : dès qu’environ 32 requêtes parviennent au modèle en même temps, les modèles conventionnels rattrapent leur retard en termes de débit. Google l’appelle une version expérimentale, publiée sous Apache 2.0 sur Hugging Face afin que d’autres puissent s’en inspirer.

Ce que cela signifie pour vous: Si vous utilisez simplement un chatbot, rien ne change aujourd’hui. Mais il s’agit d’un bon aperçu de la direction que prend le « rapide et bon marché », et la vitesse est ce que la plupart des gens remarquent réellement. Pour tous ceux qui utilisent eux-mêmes des modèles, l’affirmation intéressante est la mise à niveau : vous n’aurez peut-être pas besoin d’une nouvelle formation de plusieurs millions de dollars pour obtenir un modèle fondamentalement différent, juste un dixième d’un appliqué à un modèle que vous possédez déjà. Une startup utilise déjà DiffusionGemma pour la reconnaissance vocale multilingue, ce qui revient à peu près à sortir les poids en public.

Sources

• Rapport technique DiffusionGemma sur arXiv -Poids du modèle sur Hugging Face (Apache 2.0)
• Le Décodeur : DiffusionGemma de Google prouve qu’il n’est pas nécessaire de s’entraîner à partir de zéro