La factura cuadrática de la atención y una vía de escape radical
Los grandes modelos de lenguaje actuales, desde GPT hasta Gemini, dependen del mecanismo de atención de la arquitectura Transformer. Este sistema permite que cada token en una secuencia se compare con todos los demás, creando una matriz de interacciones de L por L. Aunque es potente, esta comparación global conlleva un coste computacional y de memoria que crece de forma cuadrática con la longitud de la secuencia, lo que supone un importante reto de escalabilidad.
Un artículo reciente de diciembre de 2025, “Attention Is Not What You Need” de Zhang Chong, propone un cambio radical. En lugar de la costosa matriz de atención L por L, la arquitectura "Grassmann Flows" de Chong la sustituye por un mecanismo basado en la geometría diferencial del siglo XIX. No se trata de una alternativa establecida, sino de un concepto experimental novedoso.
La idea central consiste en reducir las representaciones de los tokens de 256 a 32 dimensiones y emparejarlos con un conjunto fijo de vecinos a distancias específicas (1, 2, 4, 8, 12 y 16 posiciones). Cada par forma un plano dentro de una variedad de Grassmann de 32 dimensiones, codificado por 496 coordenadas de Plücker. Una puerta aprendida mezcla entonces esta información geométrica en la representación original del token.
Debido a que cada token interactúa solo con un número fijo de vecinos, este enfoque escala linealmente con la longitud de la secuencia, reduciendo drásticamente la complejidad. Los primeros resultados en modelos pequeños (de 13 a 18 millones de parámetros) muestran una perplejidad dentro del 10-15% de los Transformers de tamaño similar, e incluso una ligera ventaja en una tarea de clasificación. Sin embargo, una menor complejidad computacional por sí sola no garantiza un rendimiento útil del modelo de lenguaje; la verdadera prueba reside en la escalabilidad y la reproducibilidad independiente.
La geometría del siglo XIX escondida en cada par de tokens
En lugar de una matriz de atención completa, esta nueva arquitectura comprime el estado de 256 dimensiones de cada token a solo 32 dimensiones. Luego empareja cada token con un conjunto selecto de vecinos a desplazamientos fijos: 1, 2, 4, 8, 12 y 16 posiciones. Esta interacción local multiescala evita el coste cuadrático de la atención global.
Dos vectores de 32 dimensiones, que representan un par de tokens, definen un plano dentro de un espacio de 32 dimensiones. En matemáticas, el conjunto de todos estos planos forma una variedad de Grassmann. El modelo codifica cada uno de estos planos utilizando coordenadas de Plücker, generando 496 características numéricas distintas para cada par.
Una puerta aprendida dicta entonces cuánta de esta rica información geométrica de 496 dimensiones se integra en el estado original del token. Este mecanismo ofrece un coste de escalado lineal con la longitud de la secuencia. El artículo afirma que este enfoque geométrico permite representaciones matemáticamente inspeccionables, ofreciendo una vía potencial para la interpretabilidad, un ángulo de investigación convincente, aunque todavía no es un beneficio probado.
Números prometedores frente a una difícil prueba de reproducibilidad
Los resultados iniciales del artículo, “Attention Is Not What You Need”, parecían prometedores. El autor probó modelos con aproximadamente 13-18 millones de parámetros en Wikitext-2, afirmando una perplejidad dentro del 10-15% de los Transformers comparables. Para una tarea de clasificación, una cabeza DistilBERT utilizando este enfoque geométrico logró una precisión del 85,38%, superando ligeramente a una línea base de Transformer del 85,11%.
Sin embargo, los esfuerzos de reproducibilidad independientes han planteado dudas. Una reproducción realizada por Elliot Arledge informó una brecha de rendimiento del 22.6%, significativamente mayor que lo afirmado en el artículo. Aunque un segundo intento arrojó cifras más cercanas, la discrepancia sugiere que las decisiones de implementación no documentadas pueden influir de manera crítica en el rendimiento.
Persisten dos objeciones centrales. Primero, el autor no proporcionó código, lo que hace imposible verificar los detalles de la implementación directamente. Segundo, una fórmula clave en el artículo describe el emparejamiento de cada token con tokens futuros ($t + \Delta$), lo que podría comprometer la causal evaluation al permitir que el modelo "eche un vistazo" a la información futura durante el entrenamiento. Si se aplica como se describe, esta data leakage invalidaría las métricas de rendimiento reportadas para tareas autorregresivas.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Una línea de investigación, no un reemplazo de la atención
La evidencia de modelos de 13 a 18 millones de parámetros en Wikitext-2, incluso con una perplejidad reportada dentro del 10–15% de los Transformers y una ligera ventaja en la clasificación de DistilBERT, no establece su viabilidad a escala. Estos son toy models según los estándares actuales, y su rendimiento en benchmarks pequeños no puede predecir el comportamiento en modelos de lenguaje de miles de millones de parámetros o aplicaciones de contexto largo.
Este enfoque geométrico entra en un campo abarrotado de alternativas de tiempo lineal, incluyendo Mamba, RWKV y RetNet. Los Grassmann flows deben demostrar una calidad y reproducibilidad superiores, no solo una complejidad lineal, para ganar terreno. La ausencia de código público, junto con la posible fuga causal en la formulación del artículo y los resultados de reproducción contradictorios —uno de ellos reportando una brecha de rendimiento del 22.6%—, plantea preocupaciones importantes.
Hasta que la comunidad investigadora tenga acceso a:
- Código disponible públicamente y reproducible
- Pruebas causales rigurosas para descartar la fuga de datos
- Replicaciones independientes en modelos y conjuntos de datos más grandes
El "Grassmann flow" se ve mejor como una línea de investigación prometedora para explorar representaciones estructuradas, particularmente para la interpretabilidad. Las afirmaciones más amplias sobre el reemplazo de la atención requieren una validación mucho más sólida.
Preguntas frecuentes
¿Qué son los Grassmann flows?
Son una arquitectura de modelado de secuencias propuesta que representa pares de vectores de tokens como subespacios geométricos y utiliza esas características en lugar de la autoatención estándar.
¿Cómo podrían los Grassmann flows reducir el cálculo?
Emparejan cada token con un conjunto fijo de vecinos en lugar de comparar cada token con todos los demás, apuntando a un escalado de longitud de secuencia lineal en lugar de cuadrático.
¿Se ha demostrado que los Grassmann flows superan a los Transformers?
No. El artículo reporta resultados de modelos pequeños cercanos, pero generalmente por debajo, de los Transformers de tamaño equivalente; las reproducciones independientes han reportado un rendimiento diferente.
¿Por qué los investigadores cuestionan los resultados del artículo?
El artículo carece de código de referencia, los detalles de implementación son disputados y los comentaristas han planteado preocupaciones sobre la indexación de tokens futuros en el modelado de lenguaje causal.