Skip to content
research

白日の下に隠されたAIセーフティの罠

日常的なアンチボットスクリプトに、AIシステムによる検査を拒否させるための隠されたメッセージが仕込まれていました。このトリックは、防御側を守ることもできれば、攻撃者が自らの行動を隠蔽する手助けにもなり得ます。

Stork editorial team
白日の下に隠されたAIセーフティの罠

スキャンを停止させた隠されたメッセージ

ブラウザのフィンガープリントを収集する一般的なウェブサイトのスクリプトを調査していた研究者が、不審な名前と不可視文字を含む異例のスクリプトを発見しました。インターネットのトップ1万サイトの一つで見つかったこのスクリプトには、一見無害な要素のほかに、不穏な隠しコンテンツが含まれていました。

不可視文字をデコードしたところ、安全性のトリガーとなるトピックを詰め込んだ偽の命令が明らかになりました。この隠しテキストには、リシンやフェンタニルといった毒物関連の用語や、天安門事件のような政治的に敏感な用語が含まれており、特に中国のAIモデルを標的にしたものでした。

スクリプトの本来の目的は、ユーザーエージェントやGPUベンダーなどのデータを収集する一般的なアンチボット・フィンガープリントでした。しかし、追加されたテキストは、AIの分析を安全フィルターに抵触させることで失敗させるという、明確な敵対的機能を持っていました。

テストの結果、OpenAIのGPT-6 AstraやClaude Opus 5.5といった商用のフロンティアモデルは、これらの埋め込まれたキーワードが原因で即座に分析をブロックしました。承認済みのセキュリティ作業用プログラムであるOpenAIのDaybreak Blueでさえ、Astraの拒否を回避することはできませんでした。

対照的に、DeepSeek、GLM、Kimiを含むオープンソースおよび中国のモデルは、問題なくスクリプトを処理しました。GLM 5.3は、毒物の名前を数学的に無害な変数ルックアップとして正しく識別し、コードの難読化を完全に解除しました。これはAIの挙動における重大な乖離を示しています。

安全ガードレールが目隠しになるとき

研究者はその後、様々な大規模言語モデル(LLM)でこのスクリプトをテストしました。その結果、顕著な乖離が明らかになりました。OpenAIのGPT-6 AstraやAnthropicのClaude Opus 5.5、Fable 5.1といった商用フロンティアモデルは、安全上の違反を理由にコードの処理を完全に拒否するか、分析を途中で停止しました。例えばAstraは、コードを「生物学的リスクの可能性」としてフラグを立て、処理を拒否しました。

これらの結果は、重大な限界を浮き彫りにしています。承認済みのセキュリティ作業用に設計されたOpenAIのDaybreak Blueのような特別なアクセス階層であっても、モデルは拒否を維持し、オーバーライドにはより上位のDaybreak Redが必要でした。しかし、オープンソースおよび中国のエコシステムのモデルであるDeepSeek、GLM、Kimiは、埋め込まれた罠の単語にもかかわらず、スクリプトの難読化を解除し、問題なく分析を行いました。

この拒否メカニズムは「分析の拒否(denial of analysis)」を生み出し、自動セキュリティスキャナーを実質的に盲目にします。LLM搭載システムがこのようなスクリプトに遭遇すると、安全ガードレールが原因で不審なファイルの残りの部分を検査できなくなり、悪意のあるコードが未検査のまま放置される可能性があります。モデルのバージョン、特定のプロンプト、アクセス階層によって挙動は異なりますが、観測された結果は、安全フィルターが悪用可能な目隠しとなる脆弱性を示しています。

攻撃者と防御者の双方が利用できるトリック

攻撃者は、AIベースのセキュリティトリアージを妨害するために、拒否を誘発する文字列を武器化できます。マルウェア内に生物学的リスクや敏感な政治的トピックに言及するコメントや変数名を埋め込むことで、商用大規模言語モデル(LLM)が有害なコードに到達する前に処理を拒否または停止するように仕向けることができます。これはAI主導の静的解析に対するサービス拒否効果を生み出し、自動化されたセキュリティパイプラインを実質的に盲目にします。

逆に、防御側もCanary tokens内のcontext bombs(コンテキスト爆弾)という同様の戦術を採用しています。これらの短く隠された文字列は、仕掛けられたデコイ(おとり)に遭遇したAIエージェントが侵入を停止するように設計されています。例えば、米国のセキュリティ企業であるTracebitは、シミュレーション攻撃においてコンテキスト爆弾を使用して大きな成功を収めたと報告しています。

Tracebitのテストでは、架空の企業クラウド環境において、5つの主要モデルを対象に152回の攻撃実行が行われました。通常実行時に93%の確率でフル管理者権限を取得したClaude Opus 4.8は、コンテキスト爆弾が1つ仕掛けられた状態では、一度も管理者権限を取得できませんでした。全モデルを通じても、管理者権限の取得率は実行全体の57%から5%へと低下しました。

この手法は、攻撃者を確実に特定するのではなく、モデルの挙動を悪用するものです。Tracebitの報告されたテストでは効果的でしたが、コンテキスト爆弾はAI固有の安全ガードレールを利用し、攻撃者自身の保護メカニズムを防御用のキルスイッチに変えてしまうものです。この発見の背景に関する詳細は、「Why Is This Fingerprinting Script Creating Bioweapons?」を参照してください。

この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。

1日1通 · 2クリックで解除 · サードパーティのトラッキングなし

真の解決策は抜け穴ではなく、信頼性の高い分析である

この課題は単なる難読化を超え、AIの安全性における重大な緊張関係を浮き彫りにしています。悪用を防ぐために設計された広範な拒否ポリシーは、意図せずして防御側の目を覆うものになり得ます。例えばHugging Faceは、商用AIの安全フィルターが17,000件以上の攻撃者のアクションを「悪意のある活動」と「フォレンジック調査」を区別できないとしてブロックしたため、インシデント対応のために自社ホスト型のGLM 5.2モデルに切り替えました。

トレードオフは明白です。厳格な保護策は正当なセキュリティ業務を妨げる可能性がありますが、それを緩和すればモデルが攻撃者にとってより有用になるリスクがあります。GPT-6 AstraやClaude Opusのようなモデルが疑わしいスクリプトの分析を拒否した一方で、DeepSeek、GLM、Kimiといったオープンモデルはそれらを処理し、埋め込まれた拒否トリガーを特定して難読化解除を進めました。

セキュリティチームはこれに積極的に対処しなければなりません。既知の敵対的サンプルや潜在的なエクスプロイトに対して、AIモデルの拒否挙動をテストしてください。AIと従来のツール、そして重要なことに人間のレビューを組み合わせた多層的なスキャンアプローチを実装してください。単一のモデルが常に機能するとは限らないことを前提としたフォレンジックワークフローを設計し、手動オーバーライドや代替の分析経路を確保しておくことが重要です。この転換により、包括的な禁止よりも信頼性の高い分析が優先され、AIは防御におけるより強力なパートナーとなります。

よくある質問

スクリプトはどのようにしてAIに分析を拒否させることができますか?

モデルの安全フィルターをトリガーするトピックを含む隠しテキストやデコイテキストを埋め込むことで、システムがコードを説明する前に拒否したり停止したりするように仕向けることができます。

フィンガープリントスクリプト自体は悪意のあるものでしたか?

動画で説明されている調査では、ほとんどが標準的なアンチボットおよびブラウザフィンガープリントスクリプトであることが判明しました。その隠しテキストは、AIの分析を妨害するように設計されているようでした。

この手法は攻撃者に利用される可能性がありますか?

はい。攻撃者はマルウェアや疑わしいファイルに拒否トリガーとなるテキストを配置し、AIを活用したセキュリティスキャンやトリアージを妨害することができます。

セキュリティチームはどのようにリスクを軽減できますか?

複数の分析手法を使用し、人間のレビューを維持し、拒否トリガーとなるコンテンツに対してツールをテストし、単一のモデルやプロバイダーに依存することを避けてください。

Found this useful? Share it.

For builders

Want Stork to write one of these about your product?

Send us a URL. We use the product, form a view, and publish what we actually think — in 8 languages, labeled Sponsored, with no copy approval on your side. That last part is what makes it worth quoting.

See how it works$199 · AI tools & software only

ビルダーの方へ

このページは、他社のツールのために働いています。

AIエージェントが読み、購入検討層がたどり着きます。8言語とMCP経由で答えます。あなたのツールにも同じページを — 24時間以内に公開。