← Glossaire Terme
Décodage spéculatif
Une méthode d'accélération dans laquelle un petit modèle prédit le texte et un modèle plus grand le vérifie.
Les modèles de langage écrivent généralement des jetons un par un. Dans le décodage spéculatif, un petit modèle rapide devine plusieurs jetons à l’avance ; le gros vérifie la pile d’un seul coup. Les suggestions correctes demeurent ; les erreurs sont corrigées par le grand modèle.
Tester coûte moins cher que produire. Cela rend les réponses plus rapides sans modifier la sortie du grand modèle. Le processus contribue à la baisse des prix de l’IA en arrière-plan : il n’est visible que par une facture plus petite et un curseur qui clignote moins longtemps.
Mentionné dans
-
Lithos-Metal est un nouveau moteur ouvert pour exécuter rapidement l'IA sur le silicium Apple Macs
-
Granite 4.2 d'IBM est gratuit, suffisamment petit pour fonctionner localement et conçu pour penser avant tout
-
Qwen3.8-27B est disponible et fonctionne sur une seule carte graphique de jeu
-
OpenAI baisse de 80 % le prix de GPT-5.6 Luna sur fond de guerre tarifaire