Googles 1.000 Token/Sek. KI ist da

Die meisten großen Sprachmodelle (LLMs) arbeiten nach einem autoregressiven Prinzip, bei dem Text Token für Token von links nach rechts generiert wird. Dieser sequentielle Prozess bedeutet, dass das Modell ein Wort schreibt und dann alles Geschriebene auswertet, um das nächste vorherzusagen. Bei kommerziellen Servern wird diese Ineffizienz durch das Batching Hunderter von Benutzern gemildert, wobei Modellgewichte einmal geladen werden, um 256 Benutzer gleichzeitig zu bedienen.

Lokale LLM-Bereitstellungen stehen jedoch vor einem erheblichen Engpass: Sie sind speichergebunden. Eine lokale GPU verbringt den Großteil ihrer Betriebszeit damit, auf das Laden von Modellgewichten aus dem Speicher zu warten, anstatt aktiv zu rechnen. Sie lädt einen massiven Teil der Gewichte, führt eine minimale Berechnung für ein Token durch und ist dann untätig, bevor der Zyklus für das nächste Token wiederholt wird, wodurch teure Hardware weitgehend unterausgelastet bleibt.

Google DeepMinds DiffusionGemma führt ein radikal anderes Paradigma ein, um dies zu überwinden. Anstelle des traditionellen Ansatzes „ein Token für 256 Benutzer“ generiert DiffusionGemma 256 Token für einen einzelnen Benutzer, und zwar auf einmal, indem es mit einer Leinwand aus zufälligen Platzhalter-Token oder „Rauschen“ beginnt. Es verfeinert dann alle Positionen gleichzeitig zu kohärentem Text, wodurch die GPU eine erhebliche Rechenlast erhält, die sie von speichergebunden zu rechengebunden überführt und theoretisch Geschwindigkeiten von über 1.000 Token pro Sekunde ermöglicht.

Anstatt Text sequenziell zu generieren, bedient sich DiffusionGemma eines Tricks der Bild-KI: Es beginnt mit einer Leinwand aus zufälligen Platzhalter-Token, im Wesentlichen „Rauschen“. Ähnlich wie ein Bilddiffusionsmodell verrauschte Pixel zu einem kohärenten Bild verfeinert, transformiert DiffusionGemma dieses textuelle Rauschen iterativ über mehrere bidirektionale Durchläufe in eine aussagekräftige Ausgabe. Diese parallele Verarbeitung ermöglicht es dem Modell, gleichzeitig am gesamten Output zu arbeiten, ein radikal anderer Ansatz als die Wort-für-Wort-Generierung.

Google DeepMind führte Uniform State Diffusion ein, um dieses Konzept auf Text anzuwenden. Hier werden zufällig ausgetauschte Wörter als „Rauschen“ betrachtet. Während des Trainings werden echte Wörter durch zufällige ersetzt, und das Modell lernt, diese Korruptionen zu identifizieren und zu korrigieren. Diese Methode ermöglicht eine entscheidende Fähigkeit: Das Modell kann jeden Token auf der Leinwand zu jedem Zeitpunkt des Generierungsprozesses neu bewerten und ändern.

Dies steht in scharfem Kontrast zu einfacheren Methoden wie Masked Diffusion, bei denen Token lediglich ausgeblendet werden. Masked Diffusion leidet unter einer erheblichen Einschränkung: Sobald sich das Modell auf einen Token festlegt, ist dieser dauerhaft fixiert, ähnlich der starren Links-nach-rechts-Generierung autoregressiver Modelle. Uniform State Diffusion überwindet dies, indem es immer einen Token an jeder Position hält, wodurch das Modell sich selbst korrigieren kann, indem es sogar zuvor akzeptierte Wörter austauscht, wenn diese nicht mehr in den sich entwickelnden Kontext passen.

DiffusionGemma verwendet eine innovative Encode-Denoise Patch-Architektur, die auf dem bestehenden 26 Milliarden Parameter starken Gemma 4-Modell aufbaut. Dieses Design wechselt dynamisch zwischen zwei Betriebsmodi: einem Encoder-Modus zur Interpretation der Benutzereingabe, der Kontext und Anleitung extrahiert, und einem Denoiser-Modus zur Verfeinerung der Textleinwand. Der Encoder füllt einen KV-cache und leitet wichtige Informationen direkt an den Denoiser weiter.

Während der Entrauschung nutzt das Modell bidirectional attention, wodurch es alle Tokens auf seiner „Leinwand“ gleichzeitig „sehen“ und verarbeiten kann, unabhängig von ihrer Position. Entscheidend ist, dass es alle confidence scores (logits) für jedes Token an jeder Position während seiner mehreren Durchläufe beibehält. Diese konstante Sichtbarkeit und iterative Verfeinerung, bei der frühere Vermutungen nachfolgende Korrekturen informieren, sind grundlegend für seine parallele Verarbeitungsfähigkeit. Für einen tieferen Einblick in diese Architektur siehe DiffusionGemma - Google DeepMind.

Dieser architektonische Wandel konfiguriert den Engpass bei der Berechnung grundlegend neu. Im Gegensatz zu autoregressiven Modellen, die aufgrund der sequenziellen Token-Generierung oft memory-bound sind, hält DiffusionGemma die GPU ständig aktiv. Durch die parallele Verarbeitung Hunderter von Tokens wechselt das Modell von memory-bound zu compute-bound, wodurch die immense Rechenleistung moderner GPUs freigesetzt und Generierungsgeschwindigkeiten von über 1.000 tokens per second erreicht werden.

Der reale Einsatz von DiffusionGemma offenbart ein überzeugendes Leistungsprofil. Benchmarks, die auf einer H100 GPU durchgeführt wurden, zeigten beeindruckende Geschwindigkeiten, die konstant bei etwa 700 tokens per second lagen. Obwohl dies nicht ganz die theoretisch vorhergesagten über 1.000 tokens per second für die Architektur erreichte, stellt es dennoch einen radikalen Sprung über das Tempo von einem Token nach dem anderen traditioneller autoregressiver Modelle dar.

Dieser Durchbruch in der Geschwindigkeit führt zu einem klaren operativen Kompromiss. DiffusionGemma ist für Szenarien konzipiert, die eine kritische Geschwindigkeit erfordern, bei der eine schnelle Ausgabe die Suche nach absoluter textueller Perfektion überwiegt. Umgekehrt bleiben Standard-autoregressive Modelle mit ihrer sequenziellen Generierung und sorgfältigen Verfeinerung die bevorzugte Wahl für Aufgaben, die maximale Ausgabequalität und Kohärenz erfordern.

Folglich findet DiffusionGemma seine ideale Anwendung in Anwendungsfällen, in denen low latency von größter Bedeutung ist. Dazu gehören Aufgaben wie intelligentes Code-Infilling, bei dem schnelle Vorschläge den Entwickler-Workflow verbessern. Es zeichnet sich auch durch schnelle kreative Iterationen aus, die es Benutzern ermöglichen, schnell zahlreiche Textentwürfe zu erkunden. Darüber hinaus revolutioniert es nicht-lineare generative Aufgaben, indem es sofortige Multi-Token-Antworten ermöglicht, die die Paradigmen der Benutzerinteraktion grundlegend verändern.

Was ist DiffusionGemma?

Ein neues Textgenerierungsmodell von Google DeepMind, das Diffusionstechniken, ähnlich wie KI-Bildgeneratoren, verwendet, um Text mit sehr hohen Geschwindigkeiten zu erzeugen, potenziell über 1.000 tokens per second.

Wie ist DiffusionGemma schneller als traditionelle **LLMs**?

Es generiert Hunderte von Tokens gleichzeitig in parallelen „Durchläufen“ anstatt einzeln (autoregressiv). Dies wandelt den Prozess von memory-bound (Warten auf Daten) zu compute-bound (vollständige Auslastung der GPU) um.

Was ist der Hauptkompromiss bei DiffusionGemma?

Der primäre Kompromiss ist Geschwindigkeit für maximale Qualität. Obwohl unglaublich schnell, sind für Aufgaben, die höchste Genauigkeit und Kohärenz erfordern, Standard-autoregressive Modelle oft immer noch überlegen.

Was ist **uniform state diffusion**?

Es ist die Kerntechnik, die verwendet wird, um „Rauschen“ auf Text für das Training anzuwenden. Anstatt nur Wörter zu maskieren, ersetzt es echte Wörter durch zufällige, wodurch das Modell lernt, seine eigenen früheren Vermutungen zu korrigieren und sogar auszutauschen.