Die quadratische Rechnung von Attention – und ein radikaler Ausweg
Die heutigen Large Language Models, von GPT bis Gemini, basieren auf dem Attention-Mechanismus der Transformer-Architektur. Dieses System ermöglicht es jedem Token in einer Sequenz, sich mit jedem anderen Token zu vergleichen, wodurch eine L-mal-L-Matrix von Interaktionen entsteht. Obwohl leistungsstark, verursacht dieser globale Vergleich einen Rechen- und Speicheraufwand, der quadratisch mit der Sequenzlänge wächst, was eine erhebliche Herausforderung für die Skalierung darstellt.
Ein aktuelles Paper vom Dezember 2025, „Attention Is Not What You Need“ von Zhang Chong, schlägt einen radikalen Kurswechsel vor. Anstelle der kostspieligen L-mal-L-Attention-Matrix ersetzt Chongs „Grassmann Flows“-Architektur diese durch einen Mechanismus, der auf der Differentialgeometrie des 19. Jahrhunderts basiert. Dies ist keine etablierte Alternative, sondern ein neuartiges experimentelles Konzept.
Die Kernidee besteht darin, Token-Repräsentationen von 256 auf 32 Dimensionen zu verkleinern und sie mit einer festen Menge von Nachbarn in bestimmten Abständen (1, 2, 4, 8, 12 und 16 Positionen) zu paaren. Jedes Paar bildet eine Ebene innerhalb einer 32-dimensionalen Grassmann-Mannigfaltigkeit, die durch 496 Plücker-Koordinaten kodiert wird. Ein gelerntes Gate mischt diese geometrische Information dann in die ursprüngliche Repräsentation des Tokens.
Da jedes Token nur mit einer festen Anzahl von Nachbarn interagiert, skaliert dieser Ansatz linear mit der Sequenzlänge, was die Komplexität drastisch reduziert. Frühe Ergebnisse bei kleinen Modellen (13M bis 18M Parameter) zeigen eine Perplexity, die innerhalb von 10-15 % von größenmäßig vergleichbaren Transformern liegt, und sogar einen leichten Vorsprung bei einer Klassifizierungsaufgabe. Eine geringere rechnerische Komplexität allein garantiert jedoch noch keine nützliche Sprachmodell-Leistung; der wahre Test liegt in der Skalierung und der unabhängigen Reproduzierbarkeit.
Die Geometrie des 19. Jahrhunderts, die sich in jedem Token-Paar verbirgt
Anstelle einer vollständigen Attention-Matrix komprimiert diese neue Architektur den 256-dimensionalen Zustand jedes Tokens auf nur 32 Dimensionen. Anschließend wird jedes Token mit einer ausgewählten Menge von Nachbarn in festen Abständen gepaart: 1, 2, 4, 8, 12 und 16 Positionen. Diese lokale, multiskalare Interaktion vermeidet die quadratischen Kosten der globalen Attention.
Zwei 32-dimensionale Vektoren, die ein Token-Paar repräsentieren, definieren eine Ebene innerhalb eines 32-dimensionalen Raums. In der Mathematik bildet die Menge aller solcher Ebenen eine Grassmann-Mannigfaltigkeit. Das Modell kodiert jede dieser Ebenen mithilfe von Plücker-Koordinaten und erzeugt so 496 unterschiedliche numerische Merkmale für jedes Paar.
Ein gelerntes Gate bestimmt dann, wie viel dieser reichhaltigen 496-dimensionalen geometrischen Information in den ursprünglichen Zustand des Tokens integriert wird. Dieser Mechanismus bietet lineare Skalierungskosten bei der Sequenzlänge. Das Paper behauptet, dass dieser geometrische Ansatz mathematisch überprüfbare Repräsentationen ermöglicht und einen potenziellen Weg für Interpretierbarkeit bietet – ein faszinierender Forschungsansatz, wenn auch noch kein bewiesener Vorteil.
Vielversprechende Zahlen treffen auf einen schwierigen Reproduzierbarkeitstest
Die ersten Ergebnisse aus dem Paper „Attention Is Not What You Need“ schienen vielversprechend. Der Autor testete Modelle mit etwa 13–18 Millionen Parametern auf Wikitext-2 und behauptete, eine Perplexity innerhalb von 10–15 % vergleichbarer Transformer zu erreichen. Bei einer Klassifizierungsaufgabe erreichte ein DistilBERT-Head, der diesen geometrischen Ansatz verwendet, eine Genauigkeit von 85,38 % und übertraf damit leicht eine Transformer-Baseline von 85,11 %.
Unabhängige Reproduktionsbemühungen haben jedoch Fragen aufgeworfen. Eine Reproduktion durch Elliot Arledge berichtete von einer Leistungslücke von 22,6 %, was deutlich über den Behauptungen des Papers liegt. Während ein zweiter Versuch zu näheren Ergebnissen führte, deutet die Diskrepanz darauf hin, dass nicht dokumentierte Implementierungsentscheidungen die Leistung entscheidend beeinflussen könnten.
Zwei zentrale Einwände bleiben bestehen. Erstens stellte der Autor keinen Code zur Verfügung, was es unmöglich macht, die Implementierungsdetails direkt zu überprüfen. Zweitens beschreibt eine Schlüsselformel im Paper die Paarung jedes Tokens mit zukünftigen Tokens ($t + \Delta$), was die causal evaluation gefährden könnte, da das Modell während des Trainings „in die Zukunft blicken“ kann. Falls wie beschrieben angewendet, würde dieses data leakage die berichteten Leistungskennzahlen für autoregressive Aufgaben entwerten.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Ein Forschungsansatz, kein Ersatz für Attention
Belege von Modellen mit 13–18 Millionen Parametern auf Wikitext-2, selbst mit einer berichteten Perplexity innerhalb von 10–15 % von Transformers und einem leichten Vorteil bei der DistilBERT-Klassifizierung, begründen keine Skalierbarkeit. Dies sind nach heutigem Standard toy models, und ihre Leistung bei kleinen Benchmarks lässt keine Rückschlüsse auf das Verhalten bei Sprachmodellen mit Milliarden von Parametern oder Anwendungen mit langem Kontext zu.
Dieser geometrische Ansatz tritt in ein überfülltes Feld linearer Alternativen ein, darunter Mamba, RWKV und RetNet. Grassmann flows müssen eine überlegene Qualität und Reproduzierbarkeit nachweisen, nicht nur eine lineare Komplexität, um an Bedeutung zu gewinnen. Das Fehlen von öffentlichem Code, gepaart mit potenziellem kausalem Leakage in der Formulierung des Papers und widersprüchlichen Reproduktionsergebnissen – eine davon berichtet von einer Leistungslücke von 22,6 % – gibt Anlass zu erheblichen Bedenken.
Bis die Forschungsgemeinschaft Zugang hat zu:
- Öffentlich verfügbarem, reproduzierbarem Code
- Strengen kausalen Tests, um data leakage auszuschließen
- Unabhängigen Replikationen an größeren Modellen und Datensätzen
Der „Grassmann flow“ ist am besten als vielversprechender Forschungsansatz zur Untersuchung strukturierter Repräsentationen zu betrachten, insbesondere im Hinblick auf die Interpretierbarkeit. Weitergehende Ansprüche, Attention zu ersetzen, erfordern eine weitaus robustere Validierung.
Häufig gestellte Fragen
Was sind Grassmann flows?
Es handelt sich um eine vorgeschlagene Architektur zur Sequenzmodellierung, die Paare von Token-Vektoren als geometrische Unterräume darstellt und diese Merkmale anstelle der standardmäßigen Self-Attention verwendet.
Wie könnten Grassmann flows die Berechnung reduzieren?
Sie paaren jedes Token mit einer festen Menge von Nachbarn, anstatt jedes Token mit jedem anderen zu vergleichen, mit dem Ziel einer linearen statt quadratischen Skalierung der Sequenzlänge.
Wurde nachgewiesen, dass Grassmann flows Transformers übertreffen?
Nein. Das Paper berichtet von Ergebnissen kleiner Modelle, die nahe an, aber im Allgemeinen unter denen größenmäßig vergleichbarer Transformers liegen; unabhängige Reproduktionen haben abweichende Leistungen gemeldet.
Warum stellen Forscher die Ergebnisse des Papers in Frage?
Dem Paper fehlt Referenzcode, Implementierungsdetails sind umstritten und Kommentatoren haben Bedenken hinsichtlich der Indizierung zukünftiger Tokens bei der kausalen Sprachmodellierung geäußert.