Autorégressif
La façon habituelle dont écrivent les modèles de langage: un token à la fois, de gauche à droite.
Presque tous les chatbots que vous avez utilisés sont autorégressifs. Ils écrivent comme vous rédigeriez un message, un petit morceau à la fois, en regardant toujours tout ce qu’ils ont déjà écrit pour décider de la suite. Ce morceau s’appelle un token, environ un mot ou un bout de mot. Le nom signifie simplement: prédire à partir de sa propre production passée.
Cette conception explique pourquoi les modèles se peignent parfois dans un coin. Une fois le premier mot d’une réponse sorti, il est sorti, même si le raisonnement qui suit montre qu’il était faux. Le modèle ne peut que se corriger ensuite, ce que vous voyez parfois en plein milieu d’une réponse. Elle explique aussi pourquoi la génération ressemble à de la frappe plutôt qu’à une apparition d’un seul bloc. D’autres approches, comme la diffusion de texte, produisent des blocs entiers d’un coup et peuvent les réviser avant que vous ne les voyiez.