L'astuce d'IA du MIT défie la loi de Moore

Exécuter un modèle d'IA puissant localement conduit souvent à une erreur familière et frustrante : « manque de mémoire ». Les passionnés tentant de déployer des modèles de raisonnement lourds comme DeepSeek R1 sur du matériel grand public rencontrent fréquemment des pics rapides de mémoire GPU, arrêtant rapidement leurs systèmes. Ce problème omniprésent a longtemps été attribué à tort à la taille même des poids du modèle, qui consomment certes une VRAM substantielle.

Cependant, les poids du modèle ne sont pas le principal, ni le plus problématique, consommateur de mémoire. Le véritable goulot d'étranglement, consommant une part disproportionnée et en croissance exponentielle de la mémoire GPU, est le cache Key-Value (KV). Ce composant critique fonctionne comme la mémoire à court terme du modèle, stockant méticuleusement chaque token et ses informations contextuelles associées de la conversation ou de l'invite en cours. Il contient les « clés » et les « valeurs » que le mécanisme d'attention utilise pour déterminer les relations entre les tokens.

Imaginez le cache KV comme un carnet en expansion constante où l'IA enregistre chaque pensée et observation antérieure au sein d'un dialogue. À mesure que l'interaction avec un modèle d'IA s'étend, que ce soit par des invites longues ou des conversations à plusieurs tours, ce « carnet » connaît une explosion exponentielle de la mémoire. Chaque nouveau token généré ou traité nécessite la rétention des tokens passés, faisant croître le cache de manière spectaculaire à chaque mot, phrase ou proposition supplémentaire. Cette expansion incessante épuise rapidement même la mémoire GPU grand public haut de gamme, conduisant inévitablement à ces fameuses erreurs de « manque de mémoire » ou à des vitesses de traitement atrocement lentes et glaciaires.

Cette limitation architecturale inhérente réduit considérablement la capacité à effectuer du raisonnement à long contexte sur du matériel grand public. Même les puissantes cartes NVIDIA, telles que les RTX 3090 ou 4090, généralement équipées de 24 gigaoctets de VRAM, ne peuvent pas supporter les exigences du cache KV pour des instructions complexes et longues sans produire immédiatement une erreur. Par conséquent, les agents de raisonnement avancés, cruciaux pour la résolution de problèmes complexes, restent largement inaccessibles pour un déploiement local, piégés par un mur de mémoire fondamental qui, jusqu'à présent, semblait insurmontable. Le plein potentiel de l'IA sophistiquée sur les appareils personnels a été constamment entravé par cette contrainte critique.

La solution standard actuelle pour réduire l'empreinte mémoire du cache KV est l'élagage agressif. Les modèles tentent de deviner quels tokens sont moins importants, puis les écartent pour libérer de la mémoire GPU. Cette pratique courante vise à atténuer les erreurs de « manque de mémoire » et les vitesses de traitement glaciaires, en particulier lors de l'exécution de modèles de raisonnement étendus localement avec de longs contextes de conversation.

Cependant, cette approche apparemment logique présente une faille critique en raison de l'architecture sous-jacente des grands modèles linguistiques (LLM) modernes. La plupart des LLM avancés, en particulier ceux excellant dans le raisonnement complexe, implémentent les Rotary Positional Embeddings (RoPE). RoPE intègre les informations positionnelles en faisant pivoter dynamiquement les embeddings de tokens, modifiant fondamentalement la façon dont un modèle perçoit son contexte.

RoPE fait pivoter les vecteurs de requête et de clé en fonction de leur position dans la séquence d'entrée. Cela signifie que la même requête, si elle est présentée à différents moments ou avec des longueurs de séquence variables, semblera entièrement différente au modèle. Un vecteur de requête généré il y a deux secondes ressemble peu à une requête identique générée maintenant, précisément parce que son état de rotation dépend de son encodage positionnel actuel.

Cette instabilité inhérente rend les méthodes traditionnelles d'élagage du KV cache très inefficaces. Tenter d'identifier et de rejeter les « meilleures » clés dans un espace rotationnel en perpétuel mouvement est comparable à « attraper un poisson dans un mixeur ». Le modèle ne peut pas établir de références stables pour les informations passées, ce qui conduit à des résultats imprévisibles. Ce flux constant empêche le modèle de récupérer systématiquement des connexions logiques cruciales, le faisant fréquemment oublier un contexte vital et faisant inévitablement chuter ses scores de raisonnement sur des benchmarks exigeants. L'« oubli » n'est pas une fonctionnalité ; c'est un effet secondaire catastrophique d'une stratégie de gestion de la mémoire défectueuse.

Des chercheurs du MIT et de NVIDIA, aux côtés de collègues de l'Université du Zhejiang, ont dévoilé un article révolutionnaire intitulé TriAttention, redéfinissant la manière dont les Large Language Models gèrent les contextes longs. Leurs travaux abordent le goulot d'étranglement critique du KV cache, qui provoque généralement l'épuisement de la mémoire et la dégradation des performances dans les déploiements d'IA locaux. Cette approche innovante offre une réduction de 10,7x de la mémoire du KV cache et une augmentation de 2,5x du débit, permettant des modèles puissants sur du matériel grand public.

Les LLM actuels utilisent les Rotary Positional Embeddings (RoPE) pour encoder les positions des tokens. Bien qu'efficace, RoPE fait pivoter continuellement les vecteurs de requête et de clé en fonction de leur position, faisant du KV cache un environnement instable, « semblable à un mixeur », pour les méthodes d'élagage traditionnelles. Tenter d'identifier et de rejeter les tokens « sans importance » dans cet espace chaotique et rotatif conduit souvent les modèles à oublier des informations cruciales et à faire chuter les scores de raisonnement.

Les chercheurs ont découvert une perspicacité profonde en examinant les vecteurs *avant* cette rotation chaotique. Dans cet espace pre-RoPE, les vecteurs de requête et de clé sont remarquablement stables, se regroupant autour de centres fixes et prévisibles. Cette cohérence inattendue a révélé que le modèle d'attention suit en fait une série trigonométrique, offrant une base mathématique pour comprendre l'importance des tokens.

Cette stabilité inhérente dans l'espace pre-RoPE est devenue la clé de voûte d'une stratégie de compression plus rigoureuse et efficace. Au lieu de deviner, TriAttention exploite cette compréhension trigonométrique pour prédire précisément quelles clés un modèle va accéder, en fonction de leur distance par rapport à ces centres stables. Cela permet une compression intelligente et à la volée du KV cache sans sacrifier la précision, marquant un changement de paradigme complet pour le raisonnement à long contexte. Pour une exploration plus approfondie de leur méthodologie, consultez TriAttention: Efficient Long Reasoning with Trigonometric KV Compression.

Les chercheurs du MIT et de NVIDIA n'ont pas seulement trouvé un espace stable ; ils en ont percé les secrets mathématiques. Leur mécanisme révolutionnaire TriAttention repose sur une perspicacité profonde : le comportement des vecteurs Query (Q) et Key (K) au sein de l'espace pre-RoPE. Ici, avant les rotations positionnelles complexes des LLM modernes, ces vecteurs présentent une stabilité remarquable, se regroupant de manière prévisible autour de centres fixes, contrairement à leurs homologues chaotiques post-rotation.

De manière cruciale, l'équipe a découvert que les schémas d'attention dans cet espace stable pré-RoPE adhèrent à une série trigonométrique prévisible. Ce n'est pas une théorie abstraite ; c'est une relation mathématique fondamentale régissant la manière dont les queries et les keys interagissent en fonction de leurs positions relatives. Une étape de calibration hors ligne mappe les distributions de requêtes, permettant à TriAttention de calculer précisément ces scores trigonométriques sous-jacents, cartographiant efficacement les cibles d'attention potentielles.

Cette révélation mathématique signifie que les modèles ne devinent plus quels tokens sont importants. TriAttention utilise cette série trigonométrique pour prédire *exactement* quelles keys un modèle accédera en fonction de leur distance relative, contournant entièrement le besoin d'un mécanisme d'attention complet et coûteux en calcul. Cette puissance prédictive permet une réduction stupéfiante de 10,7x de la mémoire du cache KV et une augmentation de 2,5x du débit sur des benchmarks comme AIME25, tout en égalant la précision de l'attention complète.

L'élagage traditionnel du cache KV tente d'identifier et de rejeter les tokens « non importants » *après* qu'ils aient subi la rotation RoPE. Cette approche réactive s'avère intrinsèquement instable car RoPE fait pivoter continuellement les vecteurs de requête, faisant fluctuer leur pertinence de manière significative à travers différentes positions. Tenter de sélectionner des keys cruciales dans un environnement aussi dynamique, « semblable à un mixeur », conduit les modèles à oublier un contexte vital et, inévitablement, à faire chuter les scores de raisonnement.

TriAttention redéfinit fondamentalement ce processus. Au lieu de réagir à des scores instables post-rotation, il évalue proactivement les keys en utilisant les centres et les normes Q/K stables pré-RoPE dérivés de son cadre trigonométrique. Cette approche prédictive, fondée mathématiquement, garantit que le modèle conserve les informations critiques, telles que les entités clés ou les dépendances logiques, maintenant une précision d'attention complète tout en réduisant drastiquement la surcharge de mémoire.

TriAttention offre des métriques de performance véritablement stupéfiantes, remodelant l'économie de l'exécution des grands modèles linguistiques (LLMs). Des chercheurs du MIT et de NVIDIA ont réalisé une réduction étonnante de 10,7x de la mémoire du cache KV, s'attaquant directement au goulot d'étranglement le plus persistant pour les LLMs à long contexte. Cette économie de mémoire sans précédent s'accompagne d'une augmentation substantielle de 2,5x du débit, rendant les tâches de raisonnement complexes auparavant insolubles non seulement réalisables, mais remarquablement efficaces.

Ce ne sont pas de simples gains théoriques ; TriAttention débloque des capacités sans précédent pour les déploiements de matériel local. Imaginez exécuter un modèle de 32 milliards de paramètres, comme OpenClaw ou DeepSeek R1, qui consomment notoirement une vaste mémoire GPU et entraînent généralement des erreurs instantanées de « manque de mémoire » (out of memory) avec des instructions longues. TriAttention permet désormais à ces modèles haut de gamme de fonctionner parfaitement sur un seul GPU grand public de 24 Go, comme une NVIDIA RTX 3090 ou 4090. Il compresse le cache dynamiquement, permettant à ces agents puissants de terminer des tâches exigeantes parfaitement sur des machines de bureau.

De manière cruciale, TriAttention réalise ces améliorations d'efficacité spectaculaires sans aucun compromis sur la qualité du raisonnement. La technique égale constamment la précision de l'attention complète (Full Attention) sur des benchmarks exigeants tels que AIME25, garantissant que la capacité du modèle à comprendre, traiter et générer des réponses complexes et cohérentes reste entièrement intacte. Les utilisateurs bénéficient d'un gain de vitesse et d'une réduction de mémoire massifs, conservant la puissance totale et inaltérée de leurs grands modèles linguistiques pour les applications critiques.

Cette avancée redéfinit fondamentalement les limites pratiques du déploiement local de l'IA. Les développeurs peuvent désormais déployer en toute confiance des agents de raisonnement sophistiqués et des LLM à grand contexte sur du matériel grand public facilement disponible, évitant ainsi les coûts prohibitifs et les complexités logistiques des infrastructures de serveurs spécialisées ou de la dépendance constante au cloud. TriAttention représente un changement de paradigme fondamental, décentralisant efficacement les capacités d'IA avancées et les déplaçant du domaine exclusif des centres de données directement sur le bureau.

La comparaison de TriAttention à l'« ancienne garde » comme R-KV révèle un net fossé de performance. Les techniques antérieures de pointe, y compris R-KV, tentaient de gérer le cache KV en élaguant les tokens directement dans l'espace post-RoPE. Cette approche s'est avérée fondamentalement défectueuse, car la nature dynamique et rotative des Rotary Positional Embeddings (RoPE) rend les représentations de tokens instables et imprévisibles, rendant les décisions de rétention précises presque impossibles. Pour en savoir plus sur RoPE, les lecteurs peuvent consulter des articles comme RoFormer: Enhanced Transformer with Rotary Position Embedding.

Les méthodes concurrentes souffraient de cette instabilité inhérente. Elles devinaient essentiellement quels tokens jeter, ce qui entraînait inévitablement une dégradation significative des capacités de raisonnement, les modèles « oubliant » un contexte crucial. Cette instabilité a directement affecté leur capacité à gérer des conversations prolongées ou des problèmes complexes en plusieurs étapes sans sacrifier la précision.

TriAttention contourne cette limitation fondamentale en opérant dans l'espace stable pré-RoPE. Cela lui permet d'identifier et de noter les clés en utilisant une série trigonométrique précise, plutôt qu'un échantillonnage de requêtes post-RoPE instable. Cette approche basée sur des principes génère des gains substantiels là où les méthodes précédentes échouaient.

Les résultats de la recherche soulignent la supériorité de TriAttention. À des niveaux d'efficacité comparables, il atteint presque le double de la précision de R-KV sur des benchmarks exigeants. Ce n'est pas une amélioration marginale ; cela représente un changement fondamental dans la manière dont les LLM peuvent gérer leur mémoire tout en préservant l'intégrité de leur raisonnement.

Cet avantage décisif est particulièrement crucial pour les tâches de raisonnement long. La capacité de TriAttention à prédire et à retenir de manière fiable un contexte important, basée sur les propriétés intrinsèques du modèle, garantit que les LLM maintiennent la cohérence et la précision sur de vastes fenêtres d'entrée. Cela élève fondamentalement le plafond de ce que les modèles d'IA peuvent accomplir dans la résolution de problèmes complexes et dépendants du contexte.

Le parcours de TriAttention, de la percée académique à l'utilité pratique pour les développeurs, est rapide et direct. Les chercheurs ont rendu le code complet open-source, garantissant un accès immédiat à quiconque cherche à optimiser ses déploiements de LLM. Cet engagement en faveur de l'accessibilité abaisse considérablement la barrière à l'entrée pour l'intégration d'une efficacité de mémoire de pointe dans les flux de travail d'IA locaux.

Le déploiement de TriAttention ne demande qu'un effort minimal, grâce à son intégration transparente avec vLLM. Les développeurs peuvent tirer parti d'une implémentation prête pour vLLM pour un déploiement en un clic, bénéficiant instantanément de la réduction significative de 10,7x de la mémoire cache KV et de l'augmentation de 2,5x du débit documentées dans les benchmarks. Cette solution pré-packagée accélère la recherche et le développement, permettant une expérimentation rapide avec des modèles à long contexte sur du matériel contraint comme les GPU grand public.

Les efforts de la communauté étendent déjà la portée de TriAttention au-delà de ses implémentations initiales en Python. Un port C/ggml dédié est activement en développement pour llama.cpp, promettant une large compatibilité et un support robuste pour les AMD GPUs, une étape critique pour de nombreux passionnés. De plus, un support MLX expérimental est en cours pour Apple Silicon, démocratisant davantage l'accès à l'inférence LLM haute performance sur les appareils personnels.

De manière cruciale, TriAttention fonctionne de manière orthogonale aux techniques d'optimisation existantes comme la quantification. Les développeurs peuvent combiner TriAttention avec des méthodes telles que TurboQuant pour obtenir des gains d'efficacité encore plus importants et cumulatifs. Cette approche additive signifie que les utilisateurs ne sacrifient pas une forme d'optimisation pour une autre, mais les empilent plutôt pour des performances maximales et des économies de mémoire, repoussant ainsi les capacités d'inférence locale.

Cette version open-source transforme la manière dont les développeurs abordent l'inférence LLM locale. L'exécution d'agents de raisonnement avancés, auparavant limitée aux infrastructures cloud coûteuses ou aux GPUs de serveur haut de gamme, devient désormais réalisable sur du matériel grand public avec 24GB VRAM. Elle ouvre la voie à une nouvelle vague d'applications d'IA locales, repoussant les limites de ce qui est possible sur les ordinateurs portables et les stations de travail personnels, favorisant l'innovation en périphérie.

L'impact de TriAttention résonne bien au-delà de l'optimisation de la mémoire cache KV ; il remodèle fondamentalement le paysage opérationnel des grands modèles linguistiques. Cette innovation brise le goulot d'étranglement de la mémoire de longue date, ouvrant une nouvelle ère d'IA puissante exécutée localement. Auparavant, seuls les matériels basés sur le cloud ou les serveurs spécialisés pouvaient gérer les immenses exigences de mémoire des tâches de raisonnement complexes et des longues fenêtres de contexte, limitant sévèrement l'accès et augmentant les coûts opérationnels pour les développeurs et les chercheurs.

Les développeurs peuvent désormais déployer des agents de raisonnement haut de gamme directement sur du matériel grand public omniprésent, démocratisant l'accès à l'IA avancée. Considérez un modèle de 32 milliards de paramètres ; un tel mastodonte, autrefois un déclencheur instantané de manque de mémoire pour un GPU de 24GB comme un NVIDIA RTX 3090 ou 4090 lorsqu'il recevait de longues instructions, exécute désormais des tâches complexes sans faille. Ce changement remarquable déplace l'inférence puissante des centres de données coûteux vers les ordinateurs portables et les stations de travail individuels, favorisant une innovation plus large et réduisant la barrière à l'entrée pour le développement d'IA de pointe.

La robustesse de la technique est évidente dans son impressionnante généralisation inter-domaines. TriAttention maintient une précision d'attention complète sur des benchmarks exigeants, prouvant son efficacité dans diverses applications sans les problèmes de stabilité des méthodes d'élagage traditionnelles. Les chercheurs ont démontré son efficacité dans des tâches de codage complexes, gérant de grandes bases de code avec un contexte étendu. Elle a également atteint une accélération de 6,3x sur le benchmark MATH500 pour le raisonnement mathématique complexe, et a géré sans faille des interactions étendues basées sur le chat, le tout sans sacrifier la logique ou la cohérence cruciales. Cette large applicabilité souligne son potentiel transformateur sur l'ensemble du spectre de l'IA.

Résoudre le goulot d'étranglement du long-context sur les appareils locaux débloque une vague d'applications auparavant impossibles, inaugurant une nouvelle génération de systèmes intelligents. Imaginez une analyse vidéo à long-context en temps réel : une IA pourrait traiter des heures de séquences localement, comprenant les arcs narratifs, identifiant des motifs subtils ou générant des résumés complets pour la sécurité, la production médiatique ou l'archivage personnel. Des assistants IA sur appareil plus performants pourraient émerger, comprenant en profondeur le contexte personnel à partir de vastes magasins de données locales – e-mails, documents et conversations – offrant une confidentialité, une réactivité et une exécution de tâches sophistiquées inégalées sans dépendance au cloud. Cela marque une étape cruciale vers une edge AI véritablement intelligente, apportant des capacités sophistiquées directement à l'appareil de l'utilisateur et favorisant un nouvel écosystème d'IA personnelle.

Le parcours de TriAttention au-delà de l'article de recherche s'accélère rapidement, devenant un outil immédiatement accessible aux développeurs. La technologie a récemment été intégrée à vLLM, un framework open-source de premier plan pour le serving de LLM à haut débit. Cette intégration cruciale permet une large gamme d'applications de production, offrant directement la réduction de mémoire du KV cache de 10,7x et l'augmentation de débit de 2,5x de TriAttention aux pipelines d'inférence.

Les efforts s'étendent bien au-delà de vLLM, avec un développement continu pour permettre TriAttention sur diverses voies et frameworks d'inférence non-vLLM. Cela assure une accessibilité plus large, permettant à davantage de développeurs de tirer parti des gains de performance substantiels. Par exemple, TriAttention permet déjà à des modèles sophistiqués de 32 milliards de paramètres, tels que OpenClaw, de fonctionner efficacement sur des GPU grand public uniques équipés de seulement 24 Go de VRAM, un exploit auparavant impossible sans erreurs immédiates de mémoire insuffisante.

Le potentiel de TriAttention s'étend bien au-delà des modèles de langage traditionnels, ouvrant de nouvelles frontières passionnantes. Les chercheurs explorent activement son application dans l'IA multimodale, y compris un support crucial pour la génération de vidéo AR. En compressant efficacement le KV cache pour des données séquentielles complexes, TriAttention promet de débloquer des tâches d'IA générative à plus long-context dans la vision et d'autres domaines, auparavant contraintes par des exigences de mémoire prohibitives.

TriAttention représente une technologie en évolution dynamique, et non une solution statique. Une communauté vibrante et collaborative se forme rapidement autour de son implémentation open-source, contribuant activement à son raffinement, ses tests et son expansion. Cet effort collectif assure une innovation continue, faisant progresser la technologie et consolidant la position de TriAttention à l'avant-garde du développement d'IA économe en mémoire.

Attendez-vous à de nouvelles optimisations, un support matériel étendu et une adoption plus large à mesure que la communauté relève de nouveaux défis et cas d'utilisation. Le principe fondamental de TriAttention—la gestion prédictive du KV cache—offre un outil polyvalent et puissant pour améliorer l'efficacité à travers diverses architectures d'IA séquentielles. Cette feuille de route robuste pointe vers un avenir où les goulots d'étranglement de la mémoire ne dicteront plus l'échelle ou l'ambition des applications d'IA, des agents de raisonnement locaux aux systèmes multimodaux complexes.

TriAttention représente un changement de paradigme dans la gestion de la mémoire de l'IA, et pas seulement une légère amélioration. En prédisant précisément les modèles d'attention grâce à la stabilité des vecteurs pre-RoPE et aux séries trigonométriques, les chercheurs du MIT, de NVIDIA et de l'Université du Zhejiang ont contourné l'instabilité inhérente et les approximations du pruning traditionnel du KV cache. Cette élégance mathématique, enracinée dans l'espace stable pre-RoPE, offre une solution robuste et prédictive au goulot d'étranglement du long-context, modifiant fondamentalement la manière dont les grands modèles de langage interagissent avec et retiennent l'information en mémoire.

L'exécution de modèles de 32 billion parameter models, auparavant limitée à des centres de données coûteux ou à des configurations multi-GPU, devient désormais réalisable sur un seul 24GB consumer GPU, tel qu'une NVIDIA RTX 3090 ou 4090. La réduction stupéfiante de 10.7x de la mémoire cache KV de TriAttention et l'augmentation de 2.5x du débit sur des benchmarks comme AIME25 redéfinissent efficacement les limites de ce qu'une machine locale peut accomplir pour les serious AI workloads, éliminant les erreurs persistantes d'« out of memory » et permettant une échelle sans précédent.

Les développeurs, chercheurs et passionnés d'IA peuvent désormais libérer tout le potentiel du long-context reasoning sans les investissements matériels prohibitifs auparavant nécessaires. Imaginez construire des AI assistants personnels qui maintiennent le contexte pendant des jours, des agents de raisonnement sophistiqués qui analysent des bases de code entières, ou des modèles créatifs qui génèrent des récits expansifs – le tout fonctionnant de manière privée, sécurisée et efficace sur votre bureau. Cette innovation démocratise l'accès aux capacités LLM avancées, favorisant une nouvelle ère de développement d'IA locale.

TriAttention est plus qu'une simple optimisation ; c'est un catalyseur fondamental pour un avenir où l'general AI est non seulement incroyablement puissante, mais aussi largement accessible à tous. En démantelant le memory wall, cette technologie de base accélère le chemin vers une AI hautement capable et véritablement consciente du contexte, qui fonctionne avec une efficacité et une fiabilité sans précédent. Votre GPU vient de recevoir une mise à niveau monumentale, pilotée par logiciel, prête à alimenter la prochaine génération de systèmes intelligents et à débloquer de toutes nouvelles applications d'IA à portée de main.

Qu'est-ce que le goulot d'étranglement du KV cache dans les modèles d'IA ?

Le KV cache stocke les key-value pairs des tokens passés dans une conversation, permettant au modèle de maintenir le contexte. À mesure que le contexte s'étend, ce cache consomme d'énormes quantités de GPU memory, devenant le principal goulot d'étranglement qui provoque des out-of-memory errors ou des performances lentes.

Comment TriAttention résout-il le problème du KV cache ?

Au lieu de deviner quels tokens jeter, TriAttention analyse le stable vector space *avant* l'application des Rotary Positional Embeddings (RoPE). Il utilise des trigonometric patterns pour prédire quels keys le modèle aura besoin, lui permettant de compresser le KV cache de plus de 10x avec une perte minimale de reasoning accuracy.

Puis-je utiliser TriAttention sur mon propre ordinateur ?

Oui. Le TriAttention codebase est open-sourced avec une intégration pour des frameworks populaires comme vLLM. Il existe également des ports communautaires pour llama.cpp et un support expérimental pour Apple Silicon, ce qui permet de l'exécuter sur du matériel grand public comme une RTX 3090/4090 ou des M-series Macs.

TriAttention est-il meilleur que les autres KV cache methods ?

Oui. Selon la recherche, TriAttention surpasse significativement les méthodes existantes comme R-KV. Il atteint une full-attention accuracy quasi parfaite aux mêmes compression levels où d'autres méthodes échouent, principalement parce qu'il exploite l'espace stable 'pre-RoPE', qui n'est pas affecté par les positional rotations.