エージェントは間違った指示に従う可能性がある
Prompt injectionは入り口の一つに過ぎませんが、真の脅威は、信頼できないコンテンツが自律型エージェントに影響を与えた後に現れます。リスクはエージェントが「何を」指示されるかだけでなく、外部からの悪意ある命令によって侵害された後に「何をするか」にあります。これには、単なる入力フィルタリングから包括的なエージェントガバナンスへの転換が求められます。
AI開発者のCole Medin氏は、重要な業務を管理し、個人データにアクセスする自身の「second brain」エージェントを例に挙げて説明しています。リスクを軽減するために、Medin氏はLLMに到達する「前」のすべての受信データに対して厳格なsecurity checksを実装し、さらにエージェントのアクセス先を必要なシステムのみに厳格に制限しています。
企業にとって致命的な組み合わせは、プライベートデータへのアクセス権、信頼できない外部入力、そして独立して書き込みや通信を行う能力を持つエージェントです。入力フィルタリングは重要な第一線の防御ですが、エージェントが常に安全な行動をとることを保証するものではありません。完全な保護には、実行時のエージェントのアイデンティティと権限を管理し、エージェントをZero-Trustによる封じ込めが必要な非人間アイデンティティとして扱うことが不可欠です。
エンタープライズにおける課題はAgent Sprawl（エージェントの乱立）である
Cole Medin氏の「second brain」のように個人で管理されるエージェントであれば、手動のセキュリティチェックやハードコードされたツール制限で運用できるかもしれません。しかし、このモデルはエンタープライズ規模では破綻します。企業は単一のエージェントを導入するのではなく、クラウドサービスや従業員のデバイス上で稼働する多数のエージェントを管理しており、その所有権や範囲が不明確なことが多々あります。
このagent sprawlは、IT部門にとって深刻な可視性の欠如を生み出します。組織は、どのエージェントが存在し、誰が責任者であり、どのようなアイデンティティを使用し、そして極めて重要な点として、どのリソースにアクセスできるのかという正確なインベントリを必要としています。これがなければ、企業は潜在的な攻撃経路に対して盲目となります。
エンタープライズエージェントは単なる従業員アカウントの拡張ではなく、独自の厳格なガバナンスを必要とするnon-human identities (NHI) です。各エージェントは、最小権限の原則と、すべての活動に対する包括的な監査可能性を遵守しなければなりません。エージェントを従業員の代理ではなく、独立したアイデンティティとして扱うことが極めて重要です。
MicrosoftのProject PerceptionとAgent 365は、エージェントに人間とは異なる独自のアイデンティティを付与することでこれに対処しています。これにより、タスク単位かつ期間限定のアクセスが可能となり、エージェントが必要な時に必要な権限だけを持つことを保証します。静的なアクセスから動的でrisk-adapted permissions（リスク適応型権限）への移行は、大規模なエージェント関連の脅威を封じ込めるために不可欠です。
Microsoftの回答：期限付きの権限
MicrosoftのProject PerceptionとAgent 365は、エージェントの発見、制御のギャップの特定、およびフリート全体のリスク管理を行うために設計された重要なガバナンス層を提供します。このアーキテクチャはエージェントに独自のアイデンティティを割り当て、その運用アクセスを従業員の承認済み権限から切り離します。
広範な常時権限の代わりに、エージェントはdynamic, time-bound permissions（動的かつ期限付きの権限）を受け取ります。つまり、エージェントは特定のタスクのためにのみサポートされたリソースへのアクセス権を取得し、タスク完了とともにアクセス権は失効します。この最小権限の原則を動的に適用することで、侵害されたエージェントによる潜在的な被害を大幅に抑制できます。
重要な点として、リスク評価は最初のサインインだけにとどまりません。Microsoftのコントロールは、サポートされているエージェントのアクションを、ランタイムにおける現在のポリシーやリスクレベルと照らし合わせて継続的に評価します。エージェントが予期しない動作を示したり、リスクプロファイルが変化したりした場合、従業員の継続的なアクセスを中断させることなく、封じ込め措置によってその機能を制限します。
このアプローチにより、単一のプロンプトインジェクションが企業全体への侵害へと連鎖することを防ぎます。一般的な攻撃ベクトルに関する詳細については、OWASP Top 10 for Large Language Model Applicationsを参照してください。チームは、推奨される保護策を確認し、その影響をプレビューし、適用前に段階的なロールアウトを承認することで、エージェントセキュリティの強化に向けた制御された移行を確実に実施できます。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
フリート全体の防御には依然として人間の承認が必要
Microsoftのビジョンは、個々のエージェントのセキュリティを超えて、フリート全体の防御にまで広がっています。Project Perceptionは「ガーディアンエージェント」を導入し、チームがエージェントグループ全体のリスクパターンを特定し、対応できるようにします。これにより、個別の調査から、まとまりのある体系的な保護へと焦点をシフトさせます。
このアプローチでは、極めて重要な人的要素が維持されます。ビデオでは、ITチームが推奨される保護策をレビューし、ポリシー変更の影響をプレビューし、新しいセキュリティ対策が適用される前に段階的なロールアウトを承認することが強調されています。この慎重な「ヒューマン・イン・ザ・ループ（人間が介在する）」プロセスにより、自動化された防御がビジネス目標や運用上の現実と確実に整合するようになります。
企業は今すぐ多層防御戦略を採用する必要があります。これには以下が含まれます：
- すべてのエージェントとその機能のインベントリ作成
- 最小権限アクセスによるIDのスコープ設定
- アクションの異常を継続的に監視
- 封じ込め戦略のテスト
より詳細な技術ガイダンスについては、OWASPのLLMアプリケーションセキュリティガイダンスおよびMicrosoft Learnのドキュメントを参照してください。Stork.AIは、エージェントセキュリティの向上におけるMicrosoftとのパートナーシップに感謝いたします。
よくある質問
なぜプロンプトインジェクションだけがAIエージェントのセキュリティリスクではないのですか？
注入された指示は、エージェントのデータやツールへのアクセスを悪用し、操作された入力を不正なアクションへと変える可能性があります。
Project Perceptionとは何ですか？
Project PerceptionはMicrosoftのエージェントセキュリティイニシアチブであり、ビデオでは、チームがエージェント全体のリスクを管理するためのエージェントに関する洞察とツールを提供するものとして説明されています。
動的な権限はどのようにエージェントの保護に役立ちますか？
これらは、特定のタスクと期間に対してエージェントにアクセス権を付与するため、広範で常時有効な権限への依存を減らします。
Microsoftのエージェントコントロールは、リスクの高いアクションを自動的にブロックしますか？
ビデオでは、ITチームが適用前にレビュー、プレビュー、および段階的なロールアウトの承認を行える推奨保護策について説明されています。