modèle de langage de diffusion
Un modèle de langage qui rédige grossièrement une réponse complète, puis affine de nombreux mots en parallèle, au lieu d'écrire un token après l'autre.
Presque tous les modèles de chat que vous avez utilisés écrivent de gauche à droite : un token, puis le suivant, chacun étant conditionné par tout ce qui le précède. C’est ce qu’on appelle la génération autorégressive, et cela limite la vitesse, car token 200 ne peut pas être écrit avant que token 199 n’existe.
Un modèle de langage de diffusion emprunte l’astuce aux générateurs d’images. Il commence par une version grossière et bruyante de la réponse entière et l’affine en plusieurs passes, corrigeant plusieurs positions à la fois. Comme le travail se déroule en parallèle, la même carte graphique produit beaucoup plus de texte par seconde. Le compromis historique a été la qualité sur de longues chaînes de raisonnement minutieux, puisque le modèle s’engage très tôt sur une forme, et combler cet écart est ce que tentent de prouver des versions récentes comme Mercury 2.5.