A conta quadrática da atenção — e uma rota de fuga radical
Os grandes modelos de linguagem atuais, de GPT a Gemini, dependem do mechanism de atenção da arquitetura Transformer. Este sistema permite que cada token em uma sequência se compare a todos os outros tokens, criando uma matriz de interações L-por-L. Embora poderoso, essa comparação global incorre em um custo computacional e de memória que cresce quadraticamente com o comprimento da sequência, representando um desafio de escala significativo.
Um artigo recente de dezembro de 2025, “Attention Is Not What You Need” de Zhang Chong, propõe um afastamento radical. Em vez da dispendiosa matriz de atenção L-por-L, a arquitetura "Grassmann Flows" de Chong a substitui por um mecanismo enraizado na geometria diferencial do século XIX. Esta não é uma alternativa estabelecida, mas um conceito experimental inovador.
A ideia central envolve reduzir as representações de tokens de 256 para 32 dimensões e emparelhá-los com um conjunto fixo de vizinhos em distâncias específicas (1, 2, 4, 8, 12 e 16 posições). Cada par forma um plano dentro de uma Grassmann manifold de 32 dimensões, codificado por 496 coordenadas de Plücker. Um gate aprendido então mistura essa informação geométrica na representação original do token.
Como cada token interage apenas com um número fixo de vizinhos, essa abordagem escala linearmente com o comprimento da sequência, reduzindo drasticamente a complexidade. Resultados iniciais em modelos pequenos (13M a 18M de parâmetros) mostram uma perplexidade dentro de 10-15% de Transformers de tamanho equivalente, e até uma leve vantagem em uma tarefa de classificação. No entanto, uma menor complexidade computacional por si só não garante um desempenho útil do modelo de linguagem; o verdadeiro teste reside na escala e na reprodutibilidade independente.
A geometria do século XIX escondida em cada par de tokens
Em vez de uma matriz de atenção completa, esta nova arquitetura comprime o estado de 256 dimensões de cada token para apenas 32 dimensões. Em seguida, emparelha cada token com um conjunto selecionado de vizinhos em deslocamentos fixos: 1, 2, 4, 8, 12 e 16 posições. Essa interação local e multiescala evita o custo quadrático da atenção global.
Dois vetores de 32 dimensões, representando um par de tokens, definem um plano dentro de um espaço de 32 dimensões. Na matemática, a coleção de todos esses planos forma uma Grassmann manifold. O modelo codifica cada um desses planos usando Plücker coordinates, gerando 496 características numéricas distintas para cada par.
Um gate aprendido então dita quanta dessa rica informação geométrica de 496 dimensões se integra ao estado original do token. Este mecanismo oferece um custo de escala linear com o comprimento da sequência. O artigo afirma que essa abordagem geométrica permite representações matematicamente inspecionáveis, oferecendo um caminho potencial para a interpretability — um ângulo de pesquisa atraente, embora ainda não seja um benefício comprovado.
Números promissores encontram um teste de reprodutibilidade difícil
Os resultados iniciais do artigo, “Attention Is Not What You Need,” pareciam promissores. O autor testou modelos com aproximadamente 13 a 18 milhões de parâmetros no Wikitext-2, alegando uma perplexidade dentro de 10 a 15% de Transformers comparáveis. Para uma tarefa de classificação, um head DistilBERT usando essa abordagem geométrica alcançou 85,38% de precisão, superando ligeiramente uma linha de base Transformer de 85,11%.
No entanto, esforços de reprodutibilidade independentes levantaram questões. Uma reprodução feita por Elliot Arledge relatou uma lacuna de desempenho de 22,6%, significativamente maior do que as alegações do artigo. Embora uma segunda tentativa tenha gerado números mais próximos, a discrepância sugere que escolhas de implementação não documentadas podem influenciar criticamente o desempenho.
Duas objeções centrais persistem. Primeiro, o autor não forneceu código, tornando impossível verificar os detalhes da implementação diretamente. Segundo, uma fórmula chave no artigo descreve o pareamento de cada token com tokens futuros ($t + \Delta$), o que poderia comprometer a causal evaluation ao permitir que o modelo "espreite" informações futuras durante o treinamento. Se aplicada como descrito, essa data leakage invalidaria as métricas de desempenho relatadas para tarefas autorregressivas.
Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.
um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros
Uma linha de pesquisa, não uma substituição para a attention
Evidências de modelos de 13–18 milhões de parâmetros no Wikitext-2, mesmo com perplexidade relatada dentro de 10–15% dos Transformers e uma leve vantagem na classificação do DistilBERT, não estabelecem viabilidade em escala. Estes são toy models pelos padrões atuais, e seu desempenho em benchmarks pequenos não pode prever o comportamento em modelos de linguagem de bilhões de parâmetros ou aplicações de contexto longo.
Esta abordagem geométrica entra em um campo lotado de alternativas de tempo linear, incluindo Mamba, RWKV e RetNet. Grassmann flows precisam demonstrar qualidade superior e reprodutibilidade, não apenas complexidade linear, para ganhar tração. A ausência de código público, aliada a um potencial vazamento causal na formulação do artigo e resultados de reprodução conflitantes — um relatando uma lacuna de desempenho de 22,6% — levanta preocupações significativas.
Até que a comunidade de pesquisa tenha acesso a:
- Código publicamente disponível e reproduzível
- Testes causais rigorosos para descartar data leakage
- Replicações independentes em modelos e conjuntos de dados maiores
O "Grassmann flow" é melhor visto como uma linha de pesquisa promissora para explorar representações estruturadas, particularmente para interpretabilidade. Alegações mais amplas para substituir a attention exigem uma validação muito mais robusta.
Perguntas Frequentes
O que são Grassmann flows?
Eles são uma arquitetura de modelagem de sequência proposta que representa pares de vetores de token como subespaços geométricos e usa esses recursos em vez da self-attention padrão.
Como os Grassmann flows poderiam reduzir a computação?
Eles pareiam cada token com um conjunto fixo de vizinhos em vez de comparar cada token com todos os outros, visando um escalonamento de comprimento de sequência linear em vez de quadrático.
Foi demonstrado que Grassmann flows superam os Transformers?
Não. O artigo relata resultados de modelos pequenos próximos, mas geralmente abaixo, de Transformers de tamanho equivalente; reproduções independentes relataram desempenhos divergentes.
Por que os pesquisadores estão questionando os resultados do artigo?
O artigo carece de código de referência, os detalhes da implementação são contestados e comentaristas levantaram preocupações sobre a indexação de tokens futuros na modelagem de linguagem causal.