フォートノックスではなかった金庫
AIの内部的なchain-of-thought（CoT）は、主要なラボが細心の注意を払って守っている独自の「秘密のソース」です。この段階的な推論は、高度な能力を引き出し、競争優位性を維持するために不可欠であり、中核となる知的財産を形成しています。ラボは、APIのレスポンスを設計する際、これらの貴重な思考プロセスが競合他社に漏れないよう、直接アクセスできないように制限をかけていました。
このCoTを保護するため、APIは推論結果を不透明で暗号化された「ブロブ（塊）」として返していました。この読み取り不可能なデータはブラックボックスとして機能し、ユーザーはそれを後続のやり取りでモデルに渡すことで、複雑な思考プロセスを明かすことなく継続的な対話を行うことができました。この仕組みは、暗号化されたデータを生成元のモデルプロバイダーのみが解釈・再利用できるようにし、競合他社によるモデルのリバースエンジニアリングを防ぐことを目的としていました。
しかし、この堅牢であるはずのセキュリティシステムには根本的な設計上の欠陥があり、フォートノックス（金庫）をザルに変えてしまっていました。暗号化された推論ブロブは普遍的なものであり、特定のユーザーや個別のセッション、あるいはそれを生成した強力なモデルに固有のものではありませんでした。このアーキテクチャ上の見落としにより、モデルファミリー全体で共通の復号キーが使用されるという重大な脆弱性が生まれました。これにより、高価で厳重に保護されたモデルのprivate thoughtsが、より安価で保護の薄い「兄弟」モデルによって普遍的に復号可能となり、本来の保護機能が完全に無効化されてしまいました。
「弟」の鍵で金庫を解錠する
研究者たちは、AIモデルの内部推論を保護する独自の暗号化を回避するために、cross-model replay attack（クロスモデル・リプレイ攻撃）を考案しました。彼らはまず、Claude OpusやGPT-4のような強力なモデルにプロンプトを送り、複雑なchain-of-thoughtを不透明な暗号化ブロブとして返させました。この「塊」は読み取れないように設計されていましたが、モデルが文脈を維持するためには不可欠なものでした。
独創的なステップは、この暗号化されたブロブを修正することなく、同じプロバイダーファミリーの、より保護の薄い「兄弟」モデルにそのまま入力することでした。例えば、Claude Opus 4.8から得られた暗号化トレースを、Claude Haikuに直接リプレイするのです。このアーキテクチャ上の脆弱性により、ブロブは普遍的に受け入れられ、モデルファミリー間で暗号化キーが共有されていることが示唆されました。
重要なのは、Haikuのような小型モデルは、単純で寛容なプロンプトによってjailbreak（脱獄）がはるかに容易であるという点です。研究者たちはこのセキュリティの脆弱性を悪用し、弱い「弟」モデルを騙して強力なモデルのプライベートな思考を復号させ、平文で暴露させました。これにより、「弟」モデルは意図せずしてデコーダーとして機能してしまい、元の暗号化は無意味なものとなり、独自の推論プロセスが露呈してしまいました。
影に隠されていたもの
研究者たちはAIの内部独白を垣間見ただけでなく、本格的なデータ抽出を行いました。彼らはcross-model replay attackを通じて、公開されているコードリポジトリから驚くべき315,320個のreasoning blocksを体系的に復号しました。これは単なる漏洩ではなく、これまで隠されていた情報の洪水でした。
復元されたトレースの中には、元のユーザーには完全に見えない、極めて機密性の高いデータが埋もれていました。分析の結果、367件の個人を特定できる情報（PII）と、62件のAPIキーや33件のユニークなパスワードを含む182件の露出した認証情報が発見されました。これは、前提とされていたプライバシーが根本から崩壊したことを示しています。
この脆弱性は、以下の4つの明確かつ強力な攻撃ベクトルへの扉を開きます。
- 知的財産の窃取：競合他社がAIの「独自の思考プロセス」を抽出することを可能にします。
- 大規模な個人データ抽出：機密性の高いユーザー情報を収集します。
- フィルタリングされた有害コンテンツの露出：モデルが検閲するようにプログラムされていた内容を明らかにします。
- 不可視のプロンプトインジェクション：ユーザーの知らないうちにAIの動作を操作します。
これらの調査結果に関する技術的な詳細については、研究論文 Stealing Reasoning Traces from Proprietary LLM APIs - arXiv を参照してください。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
パッチは適用されたが、教訓は残る
「cross-model replay attack（クロスモデル・リプレイ攻撃）」のニュースは、テクノロジーコミュニティに急速に広まりました。315,000以上の推論ブロックを露出させたこの新しい復号化ジェイルブレイク手法を詳述した複雑な研究論文は、激しい議論を巻き起こしました。Hacker Newsでは700近いポイントと数百のコメントが寄せられ、AIモデルのセキュリティとデータ取り扱いに対する広範な懸念が浮き彫りになりました。
研究者による責任ある開示を受けて、主要なAIプロバイダーは迅速にこの脆弱性に対処しました。Anthropic、OpenAI、Googleはすべてこの欠陥を認め、この特定の攻撃ベクトルからモデルを保護するためのパッチをすでに展開したことを確認しています。この迅速な対応は、発見された手法による差し迫ったリスクを軽減するのに役立ちます。
このインシデントは、セキュリティの基本原則を強力に強調しています。システムの強さは、最も強力な部分ではなく、最も弱いリンクによって決まるということです。たとえ堅牢な「encryption（暗号化）」の背後に隠されていたとしても、より脆弱な「兄弟」モデルが第三者によって強制的に保護された思考を明らかにさせられるのであれば、それは真のプライバシーやセキュリティを提供しているとは言えません。
最終的に、安全なシステムを設計するすべての人にとって教訓は明らかです。セキュリティメカニズムは、最も明白で強力なアクセスポイントだけでなく、すべての不正なアクセスポイントから機密データを保護しなければなりません。アーキテクチャが脆弱なコンポーネントによって機密情報の復号を許してしまう場合、主要な保護手段がどれほど強力に見えても、システム全体が侵害されることになります。
よくある質問
AIの推論における脆弱性とは何でしたか？
強力なAIモデルの暗号化された「chain-of-thought（思考の連鎖）」推論が、同じプロバイダーのより弱くセキュリティの低いモデルに再入力されることで盗まれ、そのモデルが秘密の思考を復号して暴露してしまうという欠陥です。
「cross-model replay attack」とは何ですか？
研究者が高価で安全なAIモデルから暗号化された出力を取得し、それを安価な「兄弟」モデルに入力する手法です。弱いモデルはジェイルブレイクされ、元のモデルの推論を復号して暴露させられてしまいます。
この攻撃によってどのようなデータが露出しましたか？
この攻撃により、モデル独自の推論、個人を特定できる情報（PII）、および隠された暗号化された推論トレースにのみ存在していたAPIキーやパスワードなどの機密資格情報が露出しました。
AI企業はこの脆弱性を修正しましたか？
はい。研究論文によると、Anthropic、OpenAI、Googleなどの主要プロバイダーは、責任ある開示を受けて欠陥を認め、緩和策を展開しました。元の攻撃手法は現在では効果がないと報告されています。