Diffusionsmodell
Ein Modell, das aus zufälligem Rauschen startet und es wiederholt aufräumt, bis ein fertiges Bild, ein Ton oder ein Textblock entsteht.
Diffusion ist die Technik hinter den meisten KI-Bildgeneratoren. Das Training läuft rückwärts: Man nimmt echte Bilder, fügt so lange Rauschen hinzu, bis nur noch Flimmern übrig ist, und bringt dem Modell bei, jeden Schritt rückgängig zu machen. Lässt man das am Ende umgekehrt laufen, kann das Modell bei reinem Rauschen beginnen und es Durchgang für Durchgang zu etwas verfeinern, das den Trainingsdaten ähnelt. Jeder Durchgang heißt Entrauschungsschritt.
Dieselbe Idee gilt inzwischen für Text. Statt ein Wort nach dem anderen zu schreiben, nimmt ein Text-Diffusionsmodell einen ganzen Block Tokens und schärft ihn über mehrere Durchgänge. Es kann einen frühen Fehler also korrigieren, bevor irgendetwas endgültig ist, und viele Tokens gleichzeitig erzeugen. Der Preis: Jede fertige Antwort braucht mehrere Durchläufe durchs Netz, das Verfahren muss also effizient sein, damit es sich lohnt. Googles DiffusionGemma ist ein aktuelles Beispiel.