Diffusionssprachmodell
Ein Sprachmodell, das eine ganze Antwort grob entwirft und dann viele Wörter parallel verfeinert, anstatt ein Token nach dem anderen zu schreiben.
Fast jedes Chat-Modell, das Sie verwendet haben, schreibt von links nach rechts: ein Token, dann das nächste, jedes davon abhängig von allem, was davor steht. Das nennt man autoregressive Generierung und setzt der Geschwindigkeit eine harte Obergrenze, da Token 200 nicht geschrieben werden kann, bevor Token 199 existiert.
Ein Diffusionssprachenmodell übernimmt den Trick von Bildgeneratoren. Es beginnt mit einer groben, verrauschten Version der gesamten Antwort und verfeinert sie über mehrere Durchgänge hinweg, wobei viele Positionen gleichzeitig korrigiert werden. Da die Arbeit parallel erfolgt, produziert dieselbe Grafikkarte weitaus mehr Text pro Sekunde. Der historische Kompromiss bestand in der Qualität auf langen Ketten sorgfältiger Überlegungen, da sich das Modell frühzeitig auf eine Form festlegt, und die Schließung dieser Lücke ist das, was aktuelle Veröffentlichungen wie Mercury 2.5 zu beweisen versuchen.