Autoregressivo
Il modo abituale in cui scrivono i modelli linguistici: un token alla volta, da sinistra a destra.
Quasi tutti i chatbot che avete usato sono autoregressivi. Scrivono come scrivereste voi un messaggio, un pezzetto alla volta, guardando sempre tutto ciò che hanno già scritto per decidere cosa viene dopo. Quel pezzetto si chiama token, all’incirca una parola o parte di essa. Il nome significa semplicemente: prevedere a partire dal proprio output passato.
Questo schema spiega perché a volte i modelli si infilano in un vicolo cieco. Una volta uscita la prima parola della risposta, resta lì, anche se il ragionamento successivo mostra che era sbagliata. Il modello può solo correggersi più avanti, ed è esattamente ciò che a volte vedete a metà risposta. Spiega anche perché la generazione sembra digitazione invece di comparire tutta insieme. Approcci alternativi come la diffusione testuale producono interi blocchi in parallelo e possono rivederli prima che voi li vediate.