Google hat aus einem fertigen Modell ein viel schnelleres gemacht und das Rezept veröffentlicht

Fast jeder KI-Chatbot, den Sie verwendet haben, schreibt so, wie Sie eine Textnachricht eingeben würden: Wort für Wort, von links nach rechts, wobei jedes Wort nach dem vorhergehenden ausgewählt wird. Google DeepMind hat jetzt den technischen Bericht für DiffusionGemma veröffentlicht, ein Modell, das anders funktioniert. Es verfeinert ganze Blöcke von 256 Token auf einmal, so wie ein Bildgenerator ein Bild aus dem Rauschen herausholt, und zwar mit etwa 1.500 Token pro Sekunde auf einem Nvidia H100-Chip. Grob gesagt ist ein Token ein Teil eines Wortes, das ist also ein sehr schneller Tipper.

Die Schlagzeile des Berichts ist jedoch nicht die Geschwindigkeit. Es sind die Kosten. Google hat dies nicht von Grund auf trainiert. Das Team nahm das bestehende Gemma-4-26B-A4B-Modell und wandelte es in ein Diffusionsmodell um, wobei weniger als zehn Prozent des ursprünglichen Trainingsbudgets benötigt wurden. Die Arbeit erfolgte in zwei Phasen: Zuerst lernt das Modell, absichtlich verrauschte Textblöcke zu rekonstruieren, dann mischt Google in einer kombinierten Phase, die SD-RL nennt, Reinforcement Learning, das die Antwortqualität verbessert, mit Sampler-Destillation, die dem Modell beibringt, mit weniger Rechenschritten auszukommen. Diese Kombination erhöhte die Argumentationswerte im Durchschnitt um etwa zehn Punkte und vervierfachte gleichzeitig nahezu die Anzahl der pro Rechenschritt erzeugten Token.

Es gibt einen wirklich bezaubernden Nebeneffekt. Ein normales Modell muss sich auf die erste Ziffer einer Antwort festlegen, bevor es mit der Argumentation fertig ist. Der Bericht zeigt, wie Gemma 4 eine mathematische Antwort mit „-1“ beginnt, mitten in der Ableitung erkennt, dass „-25“ richtig ist, und eine Korrektur vornimmt. DiffusionGemma entwickelt Antworten und Argumente parallel, sodass die falsche Zahl stillschweigend korrigiert werden kann, bevor etwas endgültig ist. Bei Sudoku, wo jeder Eintrag von Einträgen abhängt, die später kommen, löst die Diffusionsversion nach leichter Fine-Tuning fast 85 Prozent der Rätsel. Das Basismodell scheitert völlig an dieser Aufgabe.

Nun zu den Vorbehalten, denn Google äußert sich ungewöhnlich offen darüber. Die absolute Qualität bleibt immer noch hinter der ursprünglichen autoregressiven Gemma 4 zurück, insbesondere was die Argumentation betrifft. Das Modell bleibt manchmal beim Wiederholen einzelner Wörter hängen, ein Artefakt der aggressiv gekürzten Rechenschritte. Bei multimodalen Aufgaben vergisst es gelegentlich, den Argumentationsabschnitt zu schließen, was die Punktzahl nach unten zieht. Und der Geschwindigkeitsvorteil gilt größtenteils für einen einzelnen Benutzer: Sobald etwa 32 Anfragen gleichzeitig das Modell erreichen, holen herkömmliche Modelle beim Durchsatz auf. Google nennt es eine experimentelle Version, die unter Apache 2.0 auf Hugging Face veröffentlicht wurde, damit andere darauf aufbauen können.

Was das für dich bedeutet: Wenn Sie nur einen Chatbot verwenden, ändert sich heute nichts. Aber dies ist eine gute Vorschau auf die Richtung, in die sich „schnell und günstig“ entwickelt, und Geschwindigkeit ist das, was den meisten Menschen tatsächlich auffällt. Für alle, die selbst Modelle betreiben, ist die Nachrüstung die interessante Behauptung: Sie benötigen möglicherweise keinen neuen, mehrere Millionen Dollar teuren Trainingslauf, um ein grundlegend anderes Modell zu erhalten, sondern nur ein Zehntel davon, das auf ein Modell angewendet wird, das Sie bereits haben. Ein Startup nutzt DiffusionGemma bereits zur mehrsprachigen Spracherkennung, was in etwa der Sinn ist, die Gewichte öffentlich auszuhängen.

Quellen

• Technischer Bericht von DiffusionGemma über arXiv
• Modellgewichte auf Hugging Face (Apache 2.0)
• The Decoder: Googles DiffusionGemma beweist, dass Sie nicht von Grund auf trainieren müssen