modello di linguaggio diffusivo
Un modello linguistico che redige approssimativamente un'intera risposta e poi perfeziona molte parole in parallelo, invece di scrivere una token dopo l'altra.
Quasi tutti i modelli di chat che hai utilizzato scrivono da sinistra a destra: uno token, poi il successivo, ognuno condizionato da tutto ciò che lo precede. Questa si chiama generazione autoregressiva e pone un limite massimo alla velocità, perché token 200 non può essere scritto prima che esista token 199.
Un modello di linguaggio di diffusione prende in prestito il trucco dai generatori di immagini. Inizia con una versione approssimativa e rumorosa dell’intera risposta e la affina in più passaggi, correggendo molte posizioni contemporaneamente. Poiché il lavoro avviene in parallelo, la stessa scheda grafica produce molto più testo al secondo. Il compromesso storico è stato la qualità su lunghe catene di ragionamenti attenti, dal momento che il modello si impegna presto a creare una forma, e colmare questo divario è ciò che recenti versioni come Mercury 2.5 stanno cercando di dimostrare.