Attention의 이차 비용 문제와 급진적인 탈출구
GPT부터 Gemini에 이르기까지 오늘날의 거대 언어 모델은 Transformer 아키텍처의 attention mechanism에 의존합니다. 이 시스템은 시퀀스 내의 모든 토큰이 다른 모든 토큰과 스스로를 비교하게 하여 L-by-L 상호작용 행렬을 생성합니다. 강력하지만, 이러한 전역 비교는 시퀀스 길이에 따라 이차적으로 증가하는 계산 및 메모리 비용을 발생시켜 상당한 확장성 문제를 야기합니다.
2025년 12월에 발표된 Zhang Chong의 논문 “Attention Is Not What You Need”는 급진적인 변화를 제안합니다. Chong의 "Grassmann Flows" 아키텍처는 비용이 많이 드는 L-by-L attention 행렬 대신 19세기 미분 기하학에 뿌리를 둔 메커니즘으로 이를 대체합니다. 이는 확립된 대안이 아니라 새로운 실험적 개념입니다.
핵심 아이디어는 토큰 표현을 256차원에서 32차원으로 축소하고, 특정 거리(1, 2, 4, 8, 12, 16 위치)에 있는 고정된 이웃 세트와 짝을 짓는 것입니다. 각 쌍은 496개의 Plücker 좌표로 인코딩된 32차원 Grassmann manifold 내의 평면을 형성합니다. 그 후 학습된 게이트가 이 기하학적 정보를 토큰의 원래 표현에 혼합합니다.
각 토큰은 고정된 수의 이웃과만 상호작용하기 때문에 이 접근 방식은 시퀀스 길이에 따라 선형적으로 확장되어 복잡성을 크게 줄입니다. 소규모 모델(13M~18M 파라미터)에 대한 초기 결과는 크기가 일치하는 Transformer의 10-15% 이내의 perplexity를 보였으며, 한 분류 작업에서는 약간의 우위를 점하기도 했습니다. 그러나 낮은 계산 복잡성만으로는 유용한 언어 모델 성능을 보장할 수 없으며, 진정한 시험은 확장성과 독립적인 재현성에 달려 있습니다.
각 토큰 쌍에 숨겨진 19세기 기하학
전체 attention 행렬 대신, 이 새로운 아키텍처는 각 토큰의 256차원 상태를 32차원으로 압축합니다. 그런 다음 각 토큰을 1, 2, 4, 8, 12, 16 위치의 고정된 오프셋에 있는 선택된 이웃 세트와 짝을 짓습니다. 이러한 로컬 다중 스케일 상호작용은 전역 attention의 이차 비용을 피합니다.
토큰 쌍을 나타내는 두 개의 32차원 벡터는 32차원 공간 내의 평면을 정의합니다. 수학에서 이러한 모든 평면의 집합은 Grassmann manifold를 형성합니다. 모델은 Plücker coordinates를 사용하여 이러한 각 평면을 인코딩하며, 모든 쌍에 대해 496개의 고유한 수치적 특징을 생성합니다.
그 후 학습된 게이트가 이 풍부한 496차원 기하학적 정보 중 얼마만큼을 토큰의 원래 상태에 통합할지 결정합니다. 이 메커니즘은 시퀀스 길이에 따른 선형 확장 비용을 제공합니다. 논문은 이 기하학적 접근 방식이 수학적으로 검사 가능한 표현을 허용하여 interpretability를 위한 잠재적 경로를 제공한다고 주장하는데, 이는 아직 입증된 이점은 아니지만 흥미로운 연구 방향입니다.
유망한 수치와 재현성이라는 난제
Attention Is Not What You Need 논문의 초기 결과는 유망해 보였습니다. 저자는 Wikitext-2에서 약 1,300만~1,800만 개의 파라미터를 가진 모델을 테스트하여 유사한 Transformer의 10~15% 이내의 perplexity를 기록했다고 주장했습니다. 분류 작업의 경우, 이 기하학적 접근 방식을 사용하는 DistilBERT 헤드는 85.38%의 정확도를 달성하여 85.11%를 기록한 Transformer 베이스라인을 근소하게 앞섰습니다.
그러나 독립적인 재현 노력으로 인해 의문이 제기되었습니다. Elliot Arledge가 수행한 한 재현 연구에서는 22.6%의 성능 격차가 보고되었으며, 이는 논문에서 주장한 것보다 훨씬 큰 수치입니다. 두 번째 시도에서는 더 근접한 수치가 나왔지만, 이러한 차이는 문서화되지 않은 구현 선택이 성능에 결정적인 영향을 미칠 수 있음을 시사합니다.
두 가지 핵심적인 반론이 지속되고 있습니다. 첫째, 저자가 코드를 제공하지 않아 구현 세부 사항을 직접 검증하는 것이 불가능합니다. 둘째, 논문의 핵심 공식은 각 토큰을 미래 토큰($t + \Delta$)과 페어링하는 방식을 설명하고 있는데, 이는 학습 중에 모델이 향후 정보를 '엿볼' 수 있게 하여 causal evaluation을 저해할 수 있습니다. 설명된 대로 적용될 경우, 이러한 data leakage는 자기회귀 작업에 대해 보고된 성능 지표를 무효화할 것입니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
Attention 대체제가 아닌 연구의 실마리
Wikitext-2에서 1,300만~1,800만 개의 파라미터를 가진 모델로 얻은 증거는, 비록 보고된 perplexity가 Transformers의 10~15% 이내이고 DistilBERT 분류에서 약간의 우위를 점했다 하더라도, 대규모 환경에서의 실행 가능성을 입증하지는 못합니다. 이는 현재 기준으로 볼 때 toy models에 불과하며, 소규모 벤치마크에서의 성능이 수십억 개의 파라미터를 가진 언어 모델이나 긴 문맥을 다루는 애플리케이션에서의 동작을 예측할 수는 없습니다.
이 기하학적 접근 방식은 Mamba, RWKV, RetNet을 포함한 선형 시간 대안들이 경쟁하는 혼잡한 분야에 진입했습니다. Grassmann flows가 주목받으려면 단순히 선형 복잡성을 넘어 우수한 품질과 재현성을 입증해야 합니다. 공개된 코드의 부재와 논문 공식에서의 잠재적인 causal leakage, 그리고 22.6%의 성능 격차를 보고한 상충되는 재현 결과는 상당한 우려를 낳고 있습니다.
연구 커뮤니티가 다음에 접근할 수 있을 때까지:
- 공개적으로 이용 가능하고 재현 가능한 코드
- data leakage를 배제하기 위한 엄격한 인과 관계 테스트
- 더 큰 모델과 데이터셋에 대한 독립적인 재현
"Grassmann flow"는 특히 해석 가능성을 위한 구조화된 표현을 탐구하는 유망한 연구의 실마리로 보는 것이 가장 좋습니다. Attention을 대체한다는 더 광범위한 주장을 위해서는 훨씬 더 강력한 검증이 필요합니다.
자주 묻는 질문
Grassmann flows란 무엇인가요?
이는 토큰 벡터 쌍을 기하학적 부분 공간으로 표현하고 표준 self-attention 대신 해당 특징을 사용하는 제안된 시퀀스 모델링 아키텍처입니다.
Grassmann flows는 어떻게 연산량을 줄일 수 있나요?
모든 토큰을 다른 모든 토큰과 비교하는 대신 각 토큰을 고정된 이웃 집합과 페어링하여, 시퀀스 길이에 따른 스케일링을 이차(quadratic)가 아닌 선형(linear)으로 만드는 것을 목표로 합니다.
Grassmann flows가 Transformers보다 뛰어난 성능을 보인 적이 있나요?
아니요. 논문은 크기가 비슷한 Transformers와 비슷하거나 일반적으로 그보다 낮은 소규모 모델 결과를 보고하며, 독립적인 재현 연구들은 서로 다른 성능을 보고했습니다.
연구자들이 논문의 결과에 의문을 제기하는 이유는 무엇인가요?
논문에 참조 코드가 없고, 구현 세부 사항에 대한 논란이 있으며, 댓글 작성자들은 인과적 언어 모델링에서의 미래 토큰 인덱싱에 대해 우려를 제기했습니다.