← Glossario Termine
Decodifica speculativa
Un metodo di accelerazione in cui un modello piccolo prevede il testo e un modello più grande lo verifica.
I modelli linguistici di solito scrivono i token uno alla volta. Nella decodifica speculativa, un modello piccolo e veloce indovina diversi token in anticipo; quello grande controlla lo stack tutto in una volta. Rimangono suggerimenti corretti; quelli errati vengono corretti dal modello grande.
Testare è più economico che produrre. Ciò rende le risposte più rapide senza modificare l’output del modello di grandi dimensioni. Il processo contribuisce alla caduta dei prezzi dell’IA in background: è visibile solo in una fattura più piccola e in un cursore che lampeggia per meno tempo.
Citato in
-
Lithos-Metal è un nuovo motore aperto per l'esecuzione veloce dell'intelligenza artificiale su silicio Apple Macs
-
Granite 4.2 di IBM è gratuito, sufficientemente piccolo da poter essere eseguito localmente e progettato per pensare innanzitutto
-
Qwen3.8-27B è disponibile e funziona su una sola scheda grafica da gioco
-
OpenAI taglia dell'80% il prezzo di GPT-5.6 Luna mentre si accende la guerra dei prezzi