Googles neue KI denkt in Absätzen, nicht in Wörtern

Traditionelle autoregressive Large Language Models verarbeiten Text ähnlich einer Schreibmaschine, indem sie ein Token nach dem anderen in einer streng von links nach rechts verlaufenden Reihenfolge generieren. Diese sequentielle, Wort-für-Wort-Generierung erzeugt einen erheblichen Latenz-Engpass, insbesondere bei der lokalen Inferenz, wo die Anfrage eines einzelnen Benutzers nicht einfach gebatcht werden kann. Folglich bleiben leistungsstarke dedizierte GPUs oft erheblich unterausgelastet und verbringen den größten Teil ihrer Betriebszeit damit, auf das nächste Ausgabe-Token zu warten.

Googles experimentelles offenes Modell, DiffusionGemma, veröffentlicht am 10. Juni 2026 von den Forschern Brendan Donoghue und Sebastian Flennerhag, stellt eine radikale Abkehr dar. Es funktioniert wie eine Druckmaschine, indem es ganze 256-Token-Absätze gleichzeitig entwirft und iterativ verfeinert. Dieser parallele Ansatz bedeutet, dass das Modell einen vollständigen Textblock als „Leinwand“ in einem einzigen Vorwärtsdurchlauf generiert und ihn dann über mehrere Denoising-Schritte verfeinert, anstatt Tokens einzeln vorherzusagen.

Diese Methode verlagert den Inferenz-Engpass grundlegend von speicherbandbreitenbegrenzten Operationen auf rechenintensive Aufgaben. Indem DiffusionGemma der Verarbeitungseinheit eine große, gleichzeitige Arbeitslast präsentiert, maximiert es die Hardwareauslastung und liefert eine bis zu 4-mal schnellere Textgenerierung auf dedizierten GPUs. Dieses architektonische Redesign ist genau das, wofür moderne Beschleuniger gebaut sind, und ermöglicht beispiellose Geschwindigkeiten für interaktive lokale KI-Anwendungen.

DiffusionGemma interpretiert die Textgenerierung als einen iterativen Verfeinerungsprozess, ähnlich wie Bild-Diffusionsmodelle Rauschen in klare Bilder verwandeln. Es beginnt mit einer „Leinwand“ aus zufälligen Platzhalter-Tokens, im Wesentlichen textuellem Rauschen. Über mehrere Durchläufe verfeinert das Modell diesen Block iterativ und konvergiert die zufälligen Tokens zu einem kohärenten, 256-Token-Absatz. Diese parallele Verarbeitung, anstatt sequenzieller, ermöglicht seine Geschwindigkeit.

Entscheidend ist, dass DiffusionGemma bidirektionale Aufmerksamkeit verwendet. Jedes Token innerhalb des generierten Blocks berücksichtigt gleichzeitig alle anderen Tokens, sowohl die vorangehenden als auch die nachfolgenden. Diese umfassende Sichtweise ermöglicht eine intelligente Selbstkorrektur: Das Modell bewertet den gesamten Textblock auf einmal, identifiziert und behebt Inkonsistenzen in Echtzeit. Diese Fähigkeit erweist sich als unschätzbar wertvoll für komplexe, nicht-lineare Strukturen oder In-Line-Bearbeitung.

Diesem neuartigen Ansatz liegt eine effiziente 26B Mixture of Experts (MoE)-Architektur zugrunde. Obwohl das Modell insgesamt 26 Milliarden Parameter hat, aktiviert es während der Inferenz nur etwa 4 Milliarden Parameter. Diese spärliche Aktivierung ermöglicht es DiffusionGemma, bequem innerhalb der VRAM-Grenzen vieler High-End-Consumer-GPUs zu passen, wodurch eine schnelle lokale Ausführung zugänglicher wird.

Googles DiffusionGemma beschleunigt die Textgenerierung dramatisch. Auf einer NVIDIA H100 erreicht es über 1000 Tokens pro Sekunde, ein starker Kontrast zu den bekannten Wartezeiten bei sequentiellen autoregressiven Modellen, die ein Wort nach dem anderen ausgeben. Diese parallele Verarbeitung nutzt lokale GPUs weitaus effizienter und bietet Entwicklern eine bis zu 4-fache Geschwindigkeitssteigerung.

Diese Geschwindigkeit geht jedoch mit einem pragmatischen Kompromiss einher. Google gibt explizit an, dass die Gesamtqualität der Ausgabe von DiffusionGemma geringer ist als die seiner Standard-Gemma 4-Pendants, wodurch es für kritische Aufgaben weniger faktisch genau ist. Für Anwendungen, die maximale Qualität und Präzision erfordern, sollten Entwickler weiterhin das Standardmodell Gemma 4 einsetzen.

Wo wird dieser Kompromiss zu einem klaren Gewinn? DiffusionGemma brilliert in Szenarien, in denen schnelle Iteration und minimale Latenz von größter Bedeutung sind. Seine Stärken zeigen sich in interaktiven Code-Copilots, wo sofortige Vorschläge entscheidend sind, beim schnellen Entwerfen von Inhalten für schnelle Ideenfindung und in verschiedenen latenzempfindlichen lokalen Anwendungen. Für weitere technische Details zu diesem experimentellen Modell konsultieren Sie DiffusionGemma - Google DeepMind. Seine Apache 2.0-Lizenz fördert zudem die Erforschung in diesen geschwindigkeitskritischen Workflows.

DiffusionGemma ist speziell für lokale Workloads mit geringer Parallelität optimiert, ein strategisches Design. Im Gegensatz dazu nutzen Cloud-Umgebungen mit hoher QPS (Queries per Second) effizientes Batching, um die Rechenleistung mit autoregressiven Modellen zu sättigen. Die parallele Dekodierung von DiffusionGemma bietet in solchen Szenarien abnehmende Erträge und kann zu höheren Bereitstellungskosten führen; sein Durchsatzvorteil erweist sich bei kleinen bis mittleren Batch-Größen auf einem einzelnen Beschleuniger als am stärksten.

Die Zugänglichkeit für Entwickler stellt einen entscheidenden Vorteil dar. Das 26B Mixture of Experts (MoE)-Modell, das während der Inferenz nur 3,8B Parameter aktiviert, passt im quantisierten Zustand bequem in die 18GB VRAM-Grenzen von High-End-Consumer-GPUs. Entwickler können DiffusionGemma mit wichtigen Tools wie vLLM, Unsloth für das Fine-Tuning und NVIDIA NeMo integrieren und so den Zugang zu dieser innovativen Architektur demokratisieren.

Letztendlich repräsentiert DiffusionGemma mehr als ein schnelleres Modell; es dient als erfolgreicher Proof-of-Concept für ein bahnbrechendes Textgenerierungsparadigma. Dieser Wandel von sequenzieller "Schreibmaschinen-KI" zu paralleler "Druckmaschinen"-Generierung eröffnet neue Möglichkeiten für flüssige, reaktionsschnelle KI-Anwendungen. Die Arbeit von Brendan O'Donoghue und Sebastian Flennerhag kündigt eine Zukunft an, in der lokale KI-Inferenz sofort und wirklich interaktiv wirkt.

Was macht DiffusionGemma so viel schneller als andere Modelle?

Anstatt Text Token für Token wie traditionelle Modelle zu generieren, erzeugt DiffusionGemma ganze 256-Token-Blöcke parallel mithilfe einer Textdiffusionsmethode. Dies nutzt die Rechenleistung moderner GPUs vollständig aus und erhöht den Durchsatz für die lokale Nutzung dramatisch.

Ist DiffusionGemma besser als das Standardmodell Gemma 4?

Nicht für jede Aufgabe. Es ist deutlich schneller, aber seine Gesamtqualität der Ausgabe ist geringer. Google empfiehlt das Standardmodell Gemma 4 für Produktionsanwendungen, die maximale Qualität erfordern, und DiffusionGemma für geschwindigkeitskritische, interaktive Workflows.

Was sind die besten Anwendungsfälle für DiffusionGemma?

Es brilliert in lokalen, latenzarmen Szenarien wie Echtzeit-Code-Vervollständigung, In-Line-Bearbeitung und der Generierung nicht-linearer Strukturen wie Sudoku-Rätseln oder mathematischen Graphen, wo seine bidirektionale Aufmerksamkeit einen entscheidenden Vorteil bietet.

Kann ich DiffusionGemma auf meinem Personal Computer ausführen?

Ja, wenn Sie eine High-End-Consumer-GPU besitzen. Die quantisierte Version des Modells passt in 18GB VRAM und ist somit auf Karten wie der NVIDIA GeForce RTX 4090 und 5090 für die lokale Entwicklung und Experimente zugänglich.