Autoregressiv
Die übliche Art, wie Sprachmodelle schreiben: ein Token nach dem anderen, von links nach rechts.
Fast jeder Chatbot, den Sie benutzt haben, ist autoregressiv. Er schreibt so, wie Sie eine Nachricht tippen würden, ein kleines Stück nach dem anderen, und schaut dabei stets auf alles bereits Geschriebene, um zu entscheiden, was als Nächstes kommt. Dieses Stück heißt Token, ungefähr ein Wort oder ein Wortteil. Der Name bedeutet schlicht: Vorhersage aus der eigenen Vergangenheit.
Dieses Vorgehen erklärt, warum Modelle sich manchmal selbst in die Ecke schreiben. Ist das erste Wort einer Antwort erst heraus, bleibt es stehen, auch wenn die folgende Herleitung zeigt, dass es falsch war. Das Modell kann sich nur später korrigieren, was Sie mitten in Antworten gelegentlich sehen. Es erklärt auch, warum Textausgabe wie Tippen wirkt und nicht auf einen Schlag erscheint. Alternative Ansätze wie Text-Diffusion erzeugen ganze Blöcke gleichzeitig und können sie überarbeiten, bevor Sie sie überhaupt sehen.