Modelo de difusión
Un modelo que parte de ruido aleatorio y lo limpia repetidamente hasta que aparece una imagen, un sonido o un bloque de texto terminado.
La difusión es la técnica que hay detrás de la mayoría de los generadores de imágenes. El entrenamiento va hacia atrás: se toman imágenes reales, se les añade ruido hasta que son pura estática y se enseña al modelo a deshacer cada paso. Si al final se ejecuta al revés, el modelo puede arrancar desde ruido puro y refinarlo, pasada tras pasada, hasta obtener algo parecido a los datos de entrenamiento. Cada pasada se llama paso de eliminación de ruido.
La misma idea se aplica ahora al texto. En lugar de escribir una palabra tras otra, un modelo de difusión de texto toma un bloque entero de tokens y lo va afinando en varias pasadas, de modo que puede corregir un error temprano antes de que nada sea definitivo y producir muchos tokens en paralelo. La contrapartida es que cada respuesta terminada necesita varias pasadas por la red, así que el método tiene que ser eficiente para compensar. DiffusionGemma, de Google, es un ejemplo actual.