Attentionの二次関数的なコストと、急進的な回避策
GPTからGeminiに至る今日の大規模言語モデルは、Transformerアーキテクチャの「Attentionメカニズム」に依存しています。このシステムは、シーケンス内のすべてのトークンが他のすべてのトークンと比較されることを可能にし、L×Lの相互作用行列を作成します。強力ではあるものの、このグローバルな比較はシーケンス長に対して二次関数的に増加する計算コストとメモリコストを発生させ、スケーリングにおける大きな課題となっています。
2025年12月に発表されたZhang Chong氏の論文「Attention Is Not What You Need」は、急進的な転換を提案しています。Chong氏の「Grassmann Flows」アーキテクチャは、コストのかかるL×LのAttention行列の代わりに、19世紀の微分幾何学に根ざしたメカニズムを採用しています。これは確立された代替案ではなく、斬新な実験的コンセプトです。
核心となるアイデアは、トークンの表現を256次元から32次元に圧縮し、特定の距離（1、2、4、8、12、16の位置）にある固定された近傍セットとペアにすることです。各ペアは32次元の「Grassmann manifold」内の平面を形成し、496個のPlücker coordinatesによってエンコードされます。その後、学習済みのゲートがこの幾何学的情報をトークンの元の表現に混合します。
各トークンは固定数の近傍としか相互作用しないため、このアプローチはシーケンス長に対して線形にスケーリングし、複雑さを劇的に低減します。小規模モデル（13M〜18Mパラメータ）での初期結果では、同サイズのTransformerの10〜15%以内のパープレキシティを示し、特定の分類タスクではわずかに上回る結果さえ出しています。しかし、計算の複雑さが低いことだけでは有用な言語モデルの性能は保証されません。真の試練は、スケーリングと独立した再現性にあります。
各トークンペアに隠された19世紀の幾何学
完全なAttention行列の代わりに、この新しいアーキテクチャは各トークンの256次元の状態をわずか32次元に圧縮します。次に、各トークンを1、2、4、8、12、16という固定オフセットにある選択された近傍セットとペアにします。この局所的かつマルチスケールな相互作用により、グローバルなAttentionの二次関数的なコストを回避します。
トークンペアを表す2つの32次元ベクトルは、32次元空間内の平面を定義します。数学において、そのようなすべての平面の集合は「Grassmann manifold」を形成します。モデルはこれらの各平面を「Plücker coordinates」を使用してエンコードし、ペアごとに496個の異なる数値的特徴を生成します。
その後、学習済みのゲートが、この豊富な496次元の幾何学的情報をトークンの元の状態にどれだけ統合するかを決定します。このメカニズムは、シーケンス長に対して線形のスケーリングコストを提供します。論文では、この幾何学的アプローチにより数学的に検証可能な表現が可能になり、「interpretability（解釈可能性）」への道が開かれると主張していますが、これは魅力的な研究の切り口であるものの、まだ証明された利点ではありません。
有望な数値と、厳しい再現性の試練
論文「Attention Is Not What You Need」による初期の結果は有望に見えました。著者はWikitext-2上で約1300万〜1800万パラメータのモデルをテストし、同等のTransformerの10〜15%以内のパープレキシティを主張しました。分類タスクでは、この幾何学的アプローチを使用したDistilBERTヘッドが85.38%の精度を達成し、Transformerのベースラインである85.11%をわずかに上回りました。
しかし、独立した再現の試みによって疑問が呈されています。Elliot Arledgeによる再現実験では22.6%の性能差が報告されており、これは論文の主張よりも大幅に大きいものです。2回目の試みではより近い数値が得られたものの、この不一致は、文書化されていない実装上の選択が性能に決定的な影響を与えている可能性を示唆しています。
2つの主要な反論が残っています。第一に、著者がコードを提供していないため、実装の詳細を直接検証することが不可能です。第二に、論文内の重要な数式では、各トークンを将来のトークン（$t + \Delta$）とペアにすることが記述されており、学習中にモデルが今後の情報を「覗き見る」ことを許容してしまうため、causal evaluation（因果的評価）を損なう可能性があります。もし記述通りに適用された場合、このdata leakage（データ漏洩）は、自己回帰タスクにおいて報告された性能指標を無効にするものです。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
Attentionの代替ではなく、研究のヒントとして
Wikitext-2上で1300万〜1800万パラメータのモデルを用いて得られた証拠は、たとえ報告されたパープレキシティがTransformersの10〜15%以内で、DistilBERTの分類性能をわずかに上回っていたとしても、大規模な環境での実用性を証明するものではありません。これらは現在の基準ではtoy models（トイモデル）であり、小規模なベンチマークでの性能は、数十億パラメータの言語モデルや長文脈アプリケーションでの挙動を予測するものではありません。
この幾何学的なアプローチは、Mamba、RWKV、RetNetなど、線形時間で動作する代替手法がひしめく分野に参入するものです。Grassmann flowsが普及するためには、単なる線形計算量だけでなく、優れた品質と再現性を実証する必要があります。公開コードが存在しないことに加え、論文の定式化における因果的漏洩の可能性や、22.6%の性能差を報告する相反する再現結果は、重大な懸念を引き起こしています。
研究コミュニティが以下にアクセスできるようになるまで：
- 公開され、再現可能なコード
- データ漏洩を排除するための厳密な因果テスト
- より大規模なモデルとデータセットでの独立した再現実験
「Grassmann flow」は、特に解釈可能性の観点から、構造化された表現を探求するための有望な研究のヒントと見なすのが最適です。Attentionを置き換えるというより広範な主張には、はるかに強固な検証が必要です。
よくある質問
Grassmann flowsとは何ですか？
これは、トークンベクトルのペアを幾何学的な部分空間として表現し、標準的なself-attentionの代わりにそれらの特徴を使用する、提案されたシーケンスモデリングアーキテクチャです。
Grassmann flowsはどのように計算量を削減できるのですか？
すべてのトークンを他のすべてのトークンと比較するのではなく、各トークンを固定された近傍セットとペアにすることで、シーケンス長に対して二次関数的ではなく線形的なスケーリングを目指しています。
Grassmann flowsはTransformersを上回ることが示されていますか？
いいえ。論文では、同規模のTransformersに近い、しかし一般的には下回る小規模モデルの結果が報告されています。また、独立した再現実験では異なる性能が報告されています。
なぜ研究者たちは論文の結果に疑問を呈しているのですか？
論文には参照コードがなく、実装の詳細について議論があり、さらに因果的言語モデリングにおける将来トークンのインデックス付けについて懸念が示されているためです。