AIの「ブラックボックス」が解明されつつあるかもしれない

「猫と車」のニューロンは、混乱した状態ではないかもしれない#

AI研究における長年の懸念は「ブラックボックス問題」、つまりニューラルネットワークがどのように結論に至るのかを理解することの難しさでした。主要な課題の一つは「多義性（polysemanticity）」であり、個々のニューロンが一見無関係な概念に対して活性化するように見える現象です。研究者はこれをしばしば重ね合わせ（superposition）に起因するものと考え、リソースの制約によりモデルが複数の特徴を単一のニューロンに詰め込んでいると仮定してきました。

2014年の画像モデル「Inception V1」における有名な「猫と車」のニューロンを考えてみましょう。このニューロンは猫の顔と車のフロント部分の両方に反応し、明らかな多義性の典型例とされてきました。しかし、Goodfireの研究者であるNick Cammarata氏は、このニューロンを再調査し、両方の概念が「V字型の尖った輪郭」という共通の視覚的プリミティブを共有していると提唱しました。このニューロンはV字型の炎やキツネの顔にも反応し、O字型の輪郭には負の反応を示します。

Cammarata氏の再解釈は、無関係な概念の混沌とした混合物に見えたものが、実際には一貫したパターンである可能性を示唆しています。もしこれが正しければ、研究者は一部のネイティブニューロンの機能を根本的に誤解していたことになります。その結果、こうした認識上の混乱を「解きほぐす」ために開発されたスパースオートエンコーダーなどの多くのツールや手法が、欠陥のある前提に基づいていた可能性があります。

この再定義は、メカニスティックな解釈可能性（mechanistic interpretability）に重大な影響を与えます。もしニューロンが従来考えられていたよりも本質的にクリーンで単義的（monosemantic）であるならば、AIモデルを理解するためのより直接的で効率的な手法が解禁され、ブラックボックスがはるかに透明になる可能性があります。

絡まった結び目ではなく、都市の地図#

Cammarata氏は代替案として「再帰的汎化（recursive generalization）」を提案しています。ニューロンはごちゃ混ぜの状態ではなく、都市の地図と地区のように、核となるパターンから関連する例へと広がっています。例えば、ある言語モデルのニューロンは、最初は「IY」（「Miyazaki」の「iy」など）に反応し、次に「DIY」、そして最終的に「do it yourself」というフレーズ全体に反応しました。これは元の「IY」が欠けていても論理的な進行を示しています。

彼のチームによるQwen3-32B言語モデルの予備監査は、説得力のある証拠を提供しています。彼らの推定では、ニューロンの極（強い活性化や抑制を引き起こす特徴）の約90%が1つの主要な機能を持っています。約7%が2つの関連する機能を示し、説明がつかないものはわずか2〜4%に過ぎません。これらの発見は、以前の想定よりもはるかに組織化された内部構造を示唆しています。

この明瞭さは、初期の想定とは対照的です。研究者らは、現代の画像モデルの最終層におけるニューロンの約99%が解釈しやすいと報告しており、これは「猫と車」のニューロンの時代から大きな飛躍です。解釈の手法や文脈は常に評価に影響を与えますが、傾向は混沌ではなく本質的な秩序に向かっています。

読み解けるニューロンは、理解の証明ではない#

これらの説明を検証するために、Cammarata氏のチームは厳密なテストを考案しました。AIエージェントにニューロンの説明のみを与え、その特定のニューロンを活性化させるための例を生成させました。このエージェントが生成した例は、76%の確率でターゲットとなるニューロンを強く活性化させた一方、無関係な例が強い活性化を引き起こしたのはわずか1%程度でした。これは、説明がニューロンの挙動を非常に高い精度で予測していることを示唆しています。

しかし、予測能力が直ちに完全な「メカニスティック・インタープリタビリティ（機械論的解釈可能性）」と同義になるわけではありません。活性化を確実に予測する説明は説得力のある証拠となりますが、それが本質的に背後にある因果メカニズムを明らかにしたり、モデルがどのように複雑な推論を行っているかを説明したりするわけではありません。そのような説明は有用ですが、AIの認知というブラックボックスを完全に解明するものではありません。

Cammarata氏のエッセイ「Neural Networks Are Already Clean」は、その主張を「作業仮説」として提示しており、言語モデルの監査はまだ予備的な段階であると警告しています。詳細については、Neural Networks Are Already Clean - Goodfireで全文を参照してください。Google DeepMindのNeel Nanda氏を含む批評家は慎重な姿勢を求めており、より包括的な証拠がなければ、これらの発見は「インタープリタビリティの全体像に対する重要な更新」にはならないと強調しています。数兆のパラメータを持つモデルでさえ、その大部分は未解決であり、完全な監査を待っている状態です。

真の試金石は、私たちが欺瞞を見抜けるかどうかです。#

著名なAI安全性研究者であるEliezer Yudkowsky氏は、強力な反論を唱えました。内部パターンにラベルを付けるだけでは、モデルの推論を理解したことにはならないという主張です。彼は、監視者に対抗するような訓練を行うと、モデルが意図せず欺瞞的な行動を隠蔽することを学習してしまい、真の監査が不可能になる可能性があると論じました。

この区別は、「インタープリタビリティ（モデルの構成要素を読み解くこと）」と「アライメント（モデルの目標が安全であり、その行動が透明であることを保証すること）」が同じではないことを浮き彫りにしています。たとえ神経回路が読み解き可能であっても、それが高度な欺瞞に対する本質的な保証にはならず、モデルは人間による検査から隠れることを学習する可能性があります。

もしCammarata氏の仮説が正しければ、それは真の転換点となります。ニューラルネットワークは、「絡み合った結び目」という比喩が示唆していたよりもはるかに読み解きやすい可能性があるのです。研究者は、sparse autoencodersのような回避策に頼るのではなく、モデルを直接テストするための有望な新しい実験室を手に入れることになります。

それでも、ニューラル組織におけるこの新たな明瞭さは、観察された行動や因果的介入と照らし合わせて継続的に検証されなければなりません。モデルの内部都市のより読みやすい地図は強力なツールですが、最終的にその理解と意図を証明するのはモデルの行動です。