ブラックボックスに対する挑発的な挑戦
10月15日、Nick CammarataはAIの解釈可能性における核心的な前提に異議を唱える挑発的なエッセイ「Neural Networks Are Already Clean」を発表した。Cammarataは、多くのモデルコンポーネントは研究者が以前考えていたよりもはるかに理解可能である可能性があり、AIのブラックボックスは大幅に透明性が高いかもしれないと示唆している。
Cammarataの経歴は、この主張にかなりの重みを与えている。彼はOpenAIの解釈可能性チームの初期メンバーであり、Chris Olahと共に基礎的な2020年の論文「Zoom In」を共同執筆し、2023年にはOpenAIの自動解釈可能性の取り組みを開始した。現在、彼はこの問題に全面的に取り組むAIラボであるGoodfireに勤務しており、同社は最近12億5000万ドルの評価額で1億5000万ドルを調達した。
その重要性は極めて高い。もしCammarataの仮説が正しければ、代理手法に頼るのではなく、モデルの挙動を直接調査することがはるかに現実的な取り組みとなる。これはAIシステムの監査に革命をもたらし、研究者が欺瞞、報酬ハッキング、ハルシネーションといった望ましくない挙動を、ニューロンや回路レベルで直接特定し、軽減することを可能にするだろう。
Sam Altmanやroonといった人物からの称賛はこのエッセイの影響力を強調しているが、その真の重要性は厳密な科学的検証にかかっている。もし裏付けられれば、Cammarataの研究はAIアライメントの分野を根本的に変え、推測的な理論から、より実証的な通常科学へと移行させる可能性がある。
「猫と車」のニューロンは、混沌としているわけではないかもしれない
ニューラルネットワークは無数のニューロンで構成されており、それぞれが特定の入力に対して反応する。単一のニューロンが複数の異なる概念に反応するように見える現象、すなわち多義性（polysemanticity）は、歴史的にネットワークが理解不能であることを示唆しており、直接的な解釈を困難にしてきた。
重ね合わせ（superposition）という影響力のある仮説は、モデルが限られた表現空間に直面した際、個々のニューロンに複数の特徴を詰め込むと仮定した。「猫」と「車」の両方に反応するニューロンは、共通の特徴を識別しているのではなく、無関係な概念を恣意的に圧縮しているに過ぎないという考え方だ。その後、これらの混合された表現を解きほぐすツールとしてSparse autoencodersが開発された。
しかし、Cammarataのエッセイは、こうした有名な例を再解釈している。彼はInceptionV1モデルの古典的な「猫の顔／車のフロント」ニューロンを再調査した。彼の分析によれば、「猫の顔」と「車のフロント」の両方は、多くの場合V字型の幾何学的パターンを共有しており、他のV字型の構造や対向するO字型の形状が、この共通の視覚的抽象化をさらに裏付けている。
この再解釈は、この特定のケースにおいて、長年信じられてきた重ね合わせの物語に代わる説得力のある選択肢を提示している。一つの著名な例に対する説得力のある説明が、広範な多義性という支配的な信念に異議を唱える一方で、すべてのモデルや文脈において重ね合わせを否定するものではない。この主張には、多様なアーキテクチャやタスクにわたるさらなる実証的な検証が必要である。
ニューロンの「混沌」には家系図があるかもしれない
ニューロンの反応は、トレーニング中に劇的に変化する可能性がある。Cammarataは、以前の画像モデルにおける単一のニューロンが、最初は野原や谷といった広範な概念に反応していたことを観察した。時間が経ち、モデルが学習するにつれて、このニューロンの活性化パターンは狭まり、鋭くなり、最終的にはテニスボール、犬、花、ブロッコリーといった、一見バラバラに見えるが明確な特徴に焦点を合わせるようになった。
この進化はrecursive generalization（再帰的汎化）を示唆しています。ニューロンは無関係な特徴を単に詰め込むのではなく、その「意味」が関連する連想の系譜を通じて拡張され得るのです。最終的な応答範囲は、恣意的な圧縮ではなく、このような発達の道筋を反映している可能性があります。
測定上の問題がこの明確さを覆い隠していたと考えられます。例えば、初期の可視化ツールは、誤解を招くような犬のような画像を生成し、認識される多義性（polysemanticity）を誇張していました。さらに、評価手法は、その根底にある真実性を検証することなく、予測的な説明を評価する傾向がありました。これらのツールやアプローチが、「ブラックボックス」という一般的な前提を助長していました。
この古い画像モデルと現代のConvNextアーキテクチャを対比させると、Cammarataは大きな違いを指摘しています。古いモデルのニューロンは役割が広がるように見えたのに対し、ConvNextアーキテクチャははるかにクリーンで専門化されたニューロンを生み出しました。この違いは、アーキテクチャの設計と測定技術の向上の双方が、見かけ上の解釈可能性にどのような影響を与えるかを浮き彫りにしています。詳細については、Neural Networks Are Already Clean - Nick Cammarataを参照してください。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
有望な監査数値、ただし大きな注釈付き
Cammarataのエッセイは、Qwen3-32Bのようなモデルの監査から得られた説得力のある定量的推定値を提供しました。ニューロンの約90%が1つの主要で識別可能な機能を持っているように見えました。約7%が密接に関連する2つの機能を示し、説明がつかないものはわずか2%から4%にとどまり、高い内部可読性を示唆しています。
これらの数値は、これまでの解釈可能性に関する取り組みとは対照的です。Cammarataが主導した2023年のOpenAIプロジェクトを含む以前の研究では、一部のモデルにおいて説明可能なニューロンはわずか約1.7%でした。しかし、直接的な比較は困難です。手法、評価基準、モデルアーキテクチャが大幅に進化しており、単純な比較（apples-to-apples）ができないためです。
内部理解の向上は、AI safety（AIの安全性）を大幅に強化する可能性があります。研究者は、ハルシネーションや予期せぬ動作の起源を特定のニューロン活動に遡ることができれば、それらの問題の調査や対処がより容易になるかもしれません。ただし、可読性はアライメントの保証や欺瞞の信頼できる検出器ではありません。それは単に、より深い調査のための潜在的な道筋を提供するに過ぎません。
Cammarataの論文が広範な安全性の主張を正当化するには、正式な研究、独立した再現、そして多様なアーキテクチャやfrontier-scale models（フロンティアスケールのモデル）全体にわたる広範なテストが必要です。現在の発見は有望ではありますが、ニューラルネットワークの本来のクリーンさに関する決定的な結論ではなく、作業仮説として扱うべきものです。
よくある質問
「Neural Networks Are Already Clean」は何を主張していますか？
Nick Cammarataは、多くのニューラルネットワークのニューロンには識別可能な機能があり、見かけ上の混合は共有された抽象化や分析ツールの限界を反映している可能性があると主張しています。
AIにおけるsuperpositionとは何ですか？
Superpositionとは、ネットワークが同じニューロン活動の中に複数の特徴を組み合わせることで、ニューロンの数以上の特徴を表現しているという仮説です。
Sparse autoencodersは依然として重要ですか？
それらは依然として有用な研究ツールですが、Cammarataの論文は、モデルの表現を理解可能にするためにそれらが常に必要であるという考えに異議を唱えています。
これは高度なAIシステムが安全であることを証明するものですか？
いいえ。解釈可能性の発見は監査をサポートする可能性がありますが、独立した再現が必要であり、それ自体でモデルが安全である、あるいはアライメントされていると断定することはできません。