AIニューロン神話が崩れ始めているかもしれない

長年、Googleの画像認識モデルInceptionV1におけるニューロン「4E:55」は、重ね合わせ（superposition）の代表例とされてきた。このニューロンは、猫の顔と車の前面の両方に反応していたからだ。2020年に発表された『Distill』誌の論文『Zoom In: An Introduction to Circuits: An Introduction to Circuits』で強調されたこの観察結果は、ニューラルネットワークが無関係な概念を単一のニューロンに詰め込んでおり、直接的な解釈が不可能であることを裏付けているように見えた。

しかし、『Zoom In: An Introduction to Circuits: An Introduction to Circuits』の共著者であるNick Cammarata氏は、現在、異なる解釈を提示している。彼は、ニューロン4E:55は多義的（polysemantic）なのではなく、「V字型検出器」であると主張する。このニューロンは、キツネの鼻先、V字型の炎、消防艇の放水といった尖った特徴に反応し、丸い形状に対しては活性化が負になる。猫の顔と車の前面という一見無関係に見えたつながりは、概念的な重複ではなく、共有された幾何学的特徴に起因していたのだ。

この再解釈は、AIの解釈可能性における基本的な前提に異議を唱えるものである。もし研究者が共有された視覚的特徴を無関係な概念と誤認しているならば、ネットワークの不透明さを過大評価しているリスクがある。ニューロン4E:55に関するこの具体的な再評価は、これまで理解不能と見なされていた一部のニューロンが、実際には単一の一貫した特徴を検出する単義的（monosemantic）なものである可能性を示唆している。

これは、たとえ有名であっても単一の例に対する再解釈であり、すべてのニューロンが直ちに判読可能であるという普遍的な証明ではない。しかし、これは直接的な解釈可能性の重要性を高めており、本質的な不透明さという「AIニューロン神話」が崩れ始めている可能性を示唆している。

長年主流の理論であった「重ね合わせ（superposition）」は、表現能力が限られたモデルが、複数の特徴を重複する方向にエンコードしていると仮定する。これでは、全員が同時に話している混雑した部屋で個々の声を識別しようとするのと同様に、個々のニューロンの構成要素を直接解釈することが困難になる。この視点は、こうした高密度で重複した活性化を解きほぐし、より理解しやすく離散的な特徴を復元するために設計されたモデルである「スパース・オートエンコーダー（SAE）」の開発を促進した。

しかし、ニューロンの挙動に対するもう一つの説明である「再帰的汎化（recursive generalization）」は、重ね合わせの核心的な前提に疑問を投げかけている。2020年の『Distill』誌の論文『Zoom In: An Introduction to Circuits: An Introduction to Circuits』の共著者であるNick Cammarata氏は、ニューロンが無関係な概念をランダムに束ねているわけではないと示唆している。むしろ、ニューロンは学習を通じて、単純なパターンから関連する用途へと機能を広げており、木の枝がより小さく関連した枝を伸ばしていくようなプロセスに近いという。

Cammarata氏は、言語モデルのニューロンを例にこれを説明している。そのニューロンは当初「IY」を検出していたが、時間の経過とともに「DIY」へと汎化し、最終的には「IY」が明示的に存在しない場合でも「do it yourself」というフレーズ全体に反応するようになった。この説明はあくまで例示であり正式な仮説ではないが、ニューロンが容量の制約によって無関係なアイデアを詰め込むのではなく、論理的に接続された方法で責任範囲を広げ、意味的な勾配に沿って発達することを示唆している。この解釈は、以前想定されていたよりもはるかに構造化され、本質的に解釈可能なネットワークの存在を示唆している。

新しいデータは、以前の解釈可能性の結果とは対照的な結果を示しています。Anthropicによる2023年の論文「Towards Monosemanticity: Decomposing Language Models With Dictionary Learning」を含む過去の研究では、解釈可能な言語モデルのニューロンの割合は非常に低く、解釈可能性のスコアの中央値は14中0という結果が頻繁に報告されていました。同年に発表されたOpenAIの「automated interpretability」プロジェクトでも、解釈可能と判断されたニューロンは約1.7%に過ぎませんでした。

しかし、Goodfireによる予備監査では、Qwen 3 32Bについて劇的に異なる数値が報告されています。報告によると、ニューロンポールの約90%が単一の主要な機能を持ち、約7%が密接に関連する2つのタスクを処理しています。未分類のニューロンはわずか2〜4%です。

画像モデルに関して、Goodfireは、同等のデータサイズで学習された最新モデルの最終層におけるニューロンの約99%が解釈可能であったと報告しています。これは、InceptionV1の最終層ではニューロンがほとんど判読不可能であると示唆していた以前の推定を大幅に修正するものです。これらの数値は最終層に特化したものであり、すべての層やアーキテクチャに一般化できるわけではありません。

これらの驚くべき数値は、査読済みの技術論文ではなく、非公式のエッセイや企業の監査に基づいています。有望ではありますが、この分野の結論に対する影響は、厳密な評価手法、包括的なモデルカバレッジ、および独立した再現性に依存します。詳細はエッセイ「Neural Networks Are Already Clean - Goodfire」を参照してください。

Goodfireの予備的な調査結果が正しければ、解釈可能性研究における転換は非常に大きなものとなる可能性があります。研究者は、特徴を再構築するためにSparse Autoencoderのような第2のモデルを主に学習させる代わりに、場合によっては「native neurons」を直接調査・追跡できるようになるかもしれません。これによりプロセスが効率化され、間接的な手法への依存度が低下します。

この可能性は、AIの安全性とエンジニアリングに直接広がります。ニューラル回路がより明確になれば、モデルの動作の監査、デバッグ、さらには制御が大幅に容易になる可能性があります。ただし、判読可能なニューロンがあるだけで信頼性の高い制御やアライメントが保証されるわけではなく、システムレベルの相互作用の複雑さは依然として大きな課題です。

科学コミュニティは厳密な検証を待っています。Neel Nandaのような懐疑論者でさえ、強い活性化に対する直感的な説明がSuperpositionを排除するわけではないと警告しています。特に弱い活性化や密な知識表現については注意が必要です。「already clean」という仮説を検証するためには、多様なモデルや層にわたる厳密な再現実験を行うことが次の重要なステップとなります。

ニューラルネットワークが「already clean」であるとはどういう意味ですか？

Nick Cammarataの主張は、多くの個々のニューロンが、別のモデルで解きほぐす必要なしに、理解可能な機能を持っている可能性があるというものです。

「猫と車」のニューロンは何を検出していたのですか？

Cammarataによると、そのInceptionのニューロンは、猫の顔、車のフロント、その他の尖った形状に共通するV字型の幾何学的構造に反応していました。

これはSuperpositionを否定するものですか？

いいえ。このエッセイは、一見Polysemanticに見えるものの一部が誤読されている可能性があると論じていますが、この主張にはより広範な検証が必要であり、Superpositionを否定するものではありません。

Sparse Autoencoderはもう役に立たないのですか？

そうとは決まっていません。それらは依然として重要な解釈可能性ツールです。このエッセイは、直接的なニューロン分析だけで十分な場合があるという可能性を提起しているに過ぎません。