modelo de lenguaje de difusión
Un modelo de lenguaje que redacta una respuesta completa de manera aproximada y luego refina muchas palabras en paralelo, en lugar de escribir un token tras otro.
Casi todos los modelos de chat que ha utilizado escriben de izquierda a derecha: un token, luego el siguiente, cada uno condicionado a todo lo anterior. Esto se llama generación autorregresiva y pone un límite estricto a la velocidad, porque token 200 no se puede escribir antes de que exista token 199.
Un modelo de lenguaje de difusión toma prestado el truco de los generadores de imágenes. Comienza con una versión aproximada y ruidosa de la respuesta completa y la afina en varias pasadas, corrigiendo muchas posiciones a la vez. Como el trabajo se realiza en paralelo, la misma tarjeta gráfica produce mucho más texto por segundo. La compensación histórica fue la calidad en largas cadenas de razonamiento cuidadoso, ya que el modelo se compromete a adoptar una forma tempranamente, y cerrar esa brecha es lo que lanzamientos recientes como Mercury 2.5 están tratando de demostrar.