Autorregresivo
La forma habitual en que escriben los modelos de lenguaje: un token cada vez, de izquierda a derecha.
Casi todos los chatbots que ha usado son autorregresivos. Escriben como escribiría usted un mensaje, un trocito cada vez, mirando siempre todo lo que llevan escrito para decidir qué viene después. Ese trocito se llama token, más o menos una palabra o parte de una. El nombre significa simplemente: predecir a partir de su propia salida anterior.
Ese diseño explica por qué a veces los modelos se meten en un callejón sin salida. Una vez que sale la primera palabra de la respuesta, ya está fuera, aunque el razonamiento posterior demuestre que era errónea. El modelo solo puede corregirse más tarde, que es justo lo que usted ve a mitad de algunas respuestas. También explica por qué la generación parece mecanografía en vez de aparecer de golpe. Enfoques alternativos como la difusión de texto producen bloques enteros a la vez y pueden revisarlos antes de que usted los vea.