La facture quadratique de l'Attention — et une voie de sortie radicale
Les grands modèles de langage actuels, de GPT à Gemini, reposent sur le mécanisme d'attention de l'architecture Transformer. Ce système permet à chaque jeton d'une séquence de se comparer à tous les autres jetons, créant une matrice d'interactions L-par-L. Bien que puissante, cette comparaison globale entraîne un coût de calcul et de mémoire qui croît de manière quadratique avec la longueur de la séquence, posant un défi de mise à l'échelle important.
Un article récent de décembre 2025, « Attention Is Not What You Need » par Zhang Chong, propose un changement radical. Au lieu de la coûteuse matrice d'attention L-par-L, l'architecture « Grassmann Flows » de Chong la remplace par un mécanisme ancré dans la géométrie différentielle du XIXe siècle. Il ne s'agit pas d'une alternative établie, mais d'un concept expérimental novateur.
L'idée centrale consiste à réduire les représentations des jetons de 256 à 32 dimensions et à les associer à un ensemble fixe de voisins à des distances spécifiques (1, 2, 4, 8, 12 et 16 positions). Chaque paire forme un plan au sein d'une variété de Grassmann à 32 dimensions, encodé par 496 coordonnées de Plücker. Une porte apprise mélange ensuite ces informations géométriques dans la représentation originale du jeton.
Comme chaque jeton n'interagit qu'avec un nombre fixe de voisins, cette approche évolue de manière linéaire avec la longueur de la séquence, réduisant considérablement la complexité. Les premiers résultats sur de petits modèles (13M à 18M de paramètres) montrent une perplexité à 10-15 % près des Transformers de taille équivalente, et même un léger avantage sur une tâche de classification. Cependant, une complexité de calcul plus faible ne garantit pas à elle seule des performances utiles pour un modèle de langage ; le véritable test réside dans la mise à l'échelle et la reproductibilité indépendante.
La géométrie du XIXe siècle cachée dans chaque paire de jetons
Au lieu d'une matrice d'attention complète, cette nouvelle architecture compresse l'état de 256 dimensions de chaque jeton à seulement 32 dimensions. Elle associe ensuite chaque jeton à un ensemble sélectionné de voisins à des décalages fixes : 1, 2, 4, 8, 12 et 16 positions. Cette interaction locale multi-échelle évite le coût quadratique de l'attention globale.
Deux vecteurs à 32 dimensions, représentant une paire de jetons, définissent un plan au sein d'un espace à 32 dimensions. En mathématiques, l'ensemble de tous ces plans forme une variété de Grassmann. Le modèle encode chacun de ces plans en utilisant des coordonnées de Plücker, générant 496 caractéristiques numériques distinctes pour chaque paire.
Une porte apprise dicte ensuite quelle proportion de cette riche information géométrique de 496 dimensions s'intègre dans l'état original du jeton. Ce mécanisme offre un coût de mise à l'échelle linéaire avec la longueur de la séquence. L'article affirme que cette approche géométrique permet des représentations mathématiquement inspectables, offrant une voie potentielle pour l'interprétabilité — un angle de recherche convaincant, bien qu'il ne s'agisse pas encore d'un avantage prouvé.
Des chiffres prometteurs face à un test de reproductibilité difficile
Les résultats initiaux de l'article, « Attention Is Not What You Need », semblaient prometteurs. L'auteur a testé des modèles d'environ 13 à 18 millions de paramètres sur Wikitext-2, affirmant une perplexité à 10-15 % près des Transformers comparables. Pour une tâche de classification, une tête DistilBERT utilisant cette approche géométrique a atteint 85,38 % de précision, surpassant légèrement une référence Transformer à 85,11 %.
Cependant, des efforts de reproductibilité indépendants ont soulevé des questions. Une reproduction par Elliot Arledge a fait état d'un écart de performance de 22,6 %, nettement plus important que ce que prétend l'article. Bien qu'une seconde tentative ait donné des chiffres plus proches, la divergence suggère que des choix d'implémentation non documentés pourraient influencer de manière critique les performances.
Deux objections centrales persistent. Premièrement, l'auteur n'a fourni aucun code, ce qui rend impossible la vérification directe des détails d'implémentation. Deuxièmement, une formule clé de l'article décrit l'association de chaque jeton avec des jetons futurs ($t + \Delta$), ce qui pourrait compromettre l'évaluation causale en permettant au modèle de « jeter un coup d'œil » aux informations à venir pendant l'entraînement. Si elle était appliquée telle que décrite, cette fuite de données invaliderait les mesures de performance rapportées pour les tâches autorégressives.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Une piste de recherche, pas un remplaçant de l'attention
Les preuves issues de modèles de 13 à 18 millions de paramètres sur Wikitext-2, même avec une perplexité rapportée à moins de 10-15 % des Transformers et un léger avantage sur la classification DistilBERT, n'établissent pas la viabilité à grande échelle. Il s'agit de toy models selon les normes actuelles, et leurs performances sur de petits benchmarks ne peuvent pas prédire le comportement dans des modèles de langage à un milliard de paramètres ou dans des applications à long contexte.
Cette approche géométrique entre dans un domaine encombré d'alternatives à temps linéaire, notamment Mamba, RWKV et RetNet. Les Grassmann flows doivent démontrer une qualité et une reproductibilité supérieures, et pas seulement une complexité linéaire, pour gagner en importance. L'absence de code public, associée à une fuite causale potentielle dans la formulation de l'article et à des résultats de reproduction contradictoires — dont l'un fait état d'un écart de performance de 22,6 % — soulève des inquiétudes importantes.
Jusqu'à ce que la communauté scientifique ait accès à :
- Un code publiquement disponible et reproductible
- Des tests causaux rigoureux pour exclure toute fuite de données
- Des réplications indépendantes sur des modèles et des jeux de données plus vastes
Le « Grassmann flow » est mieux considéré comme une piste de recherche prometteuse pour explorer les représentations structurées, notamment pour l'interprétabilité. Des affirmations plus larges concernant le remplacement de l'attention nécessitent une validation beaucoup plus robuste.
Questions fréquemment posées
Qu'est-ce que les Grassmann flows ?
Il s'agit d'une architecture de modélisation de séquences proposée qui représente des paires de vecteurs de jetons sous forme de sous-espaces géométriques et utilise ces caractéristiques au lieu de l'auto-attention standard.
Comment les Grassmann flows pourraient-ils réduire le calcul ?
Ils associent chaque jeton à un ensemble fixe de voisins plutôt que de comparer chaque jeton avec tous les autres, visant une mise à l'échelle linéaire plutôt que quadratique de la longueur de la séquence.
A-t-il été démontré que les Grassmann flows surpassent les Transformers ?
Non. L'article rapporte des résultats sur de petits modèles proches, mais généralement inférieurs, à ceux des Transformers de taille équivalente ; des reproductions indépendantes ont rapporté des performances divergentes.
Pourquoi les chercheurs remettent-ils en question les résultats de l'article ?
L'article manque de code de référence, les détails d'implémentation sont contestés et des commentateurs ont soulevé des inquiétudes concernant l'indexation des jetons futurs dans la modélisation du langage causal.