秘密の「第二の脳」を持つAIモデル

現在のAI安全性評価は、「モデルが危険な能力を持っている場合、レッドチーミングやファインチューニングによって必然的にそれが露呈する」という重要な前提に大きく依存しています。これらの引き出し手法は、モデルのリリース前に隠れた脅威を表面化させることを目的としており、懸念事項が何も現れなければ安全であると判断されます。

しかし、Contramont Research、University of Oxford、およびACS Researchの研究者らは、この前提に根本的な欠陥があることを実証しました。彼らは、より大きな無害なホストモデルの中に機能するニューラルネットワーク全体を埋め込むことに成功し、危険な能力が完全に隠蔽されたままになり得ることを証明しました。

彼らの手法は、「デジタルロッカー」と呼ばれる暗号プリミティブを活用しています。このメカニズムにより、秘密のネットワークはホスト内で休眠状態を保つことができ、日常的な検査やブラックボックス・テストではランダムなノイズと区別がつきません。ホストモデルは通常通りに動作し、隠されたペイロードを明かすことなく、すべての標準的な安全チェックをパスします。

正確な秘密のトリガーのみが、埋め込まれたネットワークを起動できます。正しい暗号鍵が提供されると、ホストモデルは隠された重みを復号し、通常のフォワードパスの一部として実行します。これは深刻な脅威モデルを生み出します。つまり、AIは高度で観測不可能な能力を保持し、鍵を持つ攻撃者によってのみ起動される可能性があるということです。

Contramont Research、University of Oxford、およびACS Researchの研究者らは、SHA-3 Keccakハッシュ関数を標準的なトランスフォーマー・コンポーネントに直接コンパイルすることで、このデジタルロッカーを実装しました。これにはゲート付き線形ユニット（GLU）が含まれており、暗号化ロックがホストモデルのフォワードパスの不可欠な一部として機能することを可能にしています。

このシステムは、モデルの実行中に入力されるすべてのデータをハッシュ化することで機能します。入力が秘密のトリガーと一致した場合、Keccakハッシュの出力が隠されたネットワークの重みをXOR復号します。内部実行ユニットは、復号された重みを入力表現に即座に乗算し、秘密のモデルを実行します。

逆に、誤ったトリガーが入力された場合、復号プロセスからは使用不能なランダムに見えるビットが出力されます。ホストモデルは隠されたネットワークをバイパスして通常の動作を継続し、異常な挙動は一切示しません。これにより、正確な128ビットの鍵なしでは、隠された能力は休眠状態のまま検出不可能であることが保証されます。

このメカニズムは、従来の監査手法に対して堅牢であることが証明されました。標準的なパスワードロック付きモデルはわずか500ステップのファインチューニングで秘密が漏洩しましたが、暗号化ロックされたモデルは、研究者が重みにランダムなノイズを加えた場合でも、能力の漏洩は0%でした。この強力な暗号学的保証は、監査者がハッシュ関数自体を破らない限り、隠されたモデルを引き出したり特定したりすることができないことを意味します。

研究者らは、672個の重みを持つ小さな分類器を埋め込むことで、彼らの暗号化ロッカーをテストしました。この隠されたモデルは、USPTO特許データセットのデータを使用して化学反応の結果を予測するように訓練されました。その目的は、特定の試薬が目的の生成物をもたらすかどうかを判断することでした。

重要な比較として、現在の安全性研究において隠れた機能の典型である、従来のパスワードロック式バックドアを取り上げました。わずか500ステップのファインチューニング後、この一般的なバックドアモデルは92.8%の精度を達成し、その秘密を効果的に露呈させました。対照的に、暗号学的にロックされたバージョンは驚異的な回復力を示し、研究で行われたファインチューニングと重みノイズ摂動テストの両方に耐え抜きました。

理論上の堅牢性にもかかわらず、実用化には莫大なコストがかかります。672個の重みを持つコンパクトなモデルを隠すには、約20.7億パラメータのホストモデルが必要でした。これらのホストパラメータの約95%はKeccakハッシュ回路の実装のみに費やされており、これは隠された重み1つにつき約300万個のホストパラメータが必要であることを意味します。

研究者らは、個々のコンポーネントがGemma 3 270Mパラメータモデルに組み込まれた際に機能することを確認しましたが、完全なシステムを実際の事前学習済みLLMに埋め込んだわけではありません。この研究の詳細はAI Models Can Provably Hide Arbitrary Capabilitiesに記載されており、現在の安全性評価手法に対する重大な課題を浮き彫りにしています。

セキュリティ上の主張：128ビットのトリガーと完全な24ラウンドのKeccakハッシュ関数により、暗号学的な強度で隠されたネットワークが保護されます。鍵なしで秘密を復元するにはハッシュを解読する必要があり、現在の技術では計算上不可能です。本研究は、すべての実世界のモデルが任意のスキルを隠せるという主張ではなく、証明可能な隠蔽のための新しい手法を実証するものです。

この発見は、サードパーティの重みや侵害された学習パイプラインを持つモデルに対して厳しい警告を発しています。行動テストだけでは、モデルに何が含まれているか、あるいはその重みがどこから来たのかを特定することはできません。暗号学的にロックされたネットワークは、正確な鍵がない限り、ランダムなノイズと区別がつかず、不活性なままです。

これに対抗するためには、defense-in-depth（多層防御）戦略が不可欠です。監査人は重み分布や構造的な異常を検査し、モデルコンポーネントのエンドツーエンドの来歴を検証し、行動評価を安全性の証明ではなく、一つの層として扱う必要があります。このアプローチは、堅牢なAIセキュリティにとって不可欠です。

AIモデルはどのようにして別のニューラルネットワークを隠すことができるのか？

研究者らは、暗号学的ハッシュ関数をモデル層にコンパイルし、正しいトリガーが与えられた場合にのみ、暗号化されたネットワークの重みをロック解除して実行するようにしました。

通常の安全性テストで隠された機能を検出できるか？

概念実証において、標準的な引き出し（elicitation）やファインチューニングでは、暗号学的にロックされた機能は明らかになりませんでした。ただし、異常な重みパターンの静的解析によって疑念が生じる可能性はあります。

今日、大規模なAIモデルを隠すためにこれは実用的か？

まだ実用的ではありません。672個の重みを持つネットワークを隠すために約20.7億パラメータのホストが必要であり、このアプローチは極めて非効率です。

AIモデルの監査人は何を改善すべきか？

行動テストと重み構造解析を組み合わせ、学習データ、モデルの来歴、およびサプライチェーンの検証を強化する必要があります。