에이전트는 잘못된 목소리에 복종할 수 있습니다
Prompt injection은 하나의 진입점일 뿐이며, 진정한 위협은 신뢰할 수 없는 콘텐츠가 자율 에이전트에 영향을 미친 후에 나타납니다. 위험은 에이전트가 무엇을 지시받느냐가 아니라, 외부의 악의적인 지시에 의해 손상되었을 때 무엇을 하느냐에 있습니다. 이는 단순한 입력 필터링에서 포괄적인 에이전트 거버넌스로의 전환을 요구합니다.
AI 개발자인 Cole Medin은 중요한 비즈니스 운영을 관리하고 개인 데이터에 액세스하는 자신의 "second brain" 에이전트를 통해 이를 설명합니다. 위험을 완화하기 위해 Medin은 모든 수신 데이터가 LLM에 도달하기 전에 엄격한 security checks를 구현하고, 에이전트의 액세스를 필요한 시스템으로만 엄격하게 제한합니다.
기업에게 치명적인 조합은 개인 데이터에 대한 액세스 권한, 신뢰할 수 없는 외부 입력, 그리고 독립적으로 쓰거나 통신할 수 있는 능력을 갖춘 에이전트입니다. 입력 필터링은 중요한 첫 번째 방어선이지만, 에이전트가 항상 안전한 행동을 취할 것이라고 보장할 수는 없습니다. 완전한 보호를 위해서는 런타임 시 에이전트의 ID와 권한을 관리하고, 에이전트를 Zero-Trust 격리가 필요한 비인간 ID로 취급해야 합니다.
기업의 문제는 Agent Sprawl입니다
Cole Medin의 "second brain"과 같이 개인이 관리하는 에이전트는 수동 보안 검사와 하드코딩된 도구 제한으로 운영될 수 있습니다. 그러나 이 모델은 기업 규모에서는 무너집니다. 기업은 하나의 에이전트만 배포하는 것이 아니라 클라우드 서비스와 직원 기기에서 실행되는 에이전트 군단을 관리하며, 종종 소유권과 범위가 불분명합니다.
이러한 agent sprawl은 IT 부서에 심각한 가시성 격차를 만듭니다. 조직은 어떤 에이전트가 존재하는지, 누가 책임을 지는지, 어떤 특정 ID를 사용하는지, 그리고 결정적으로 어떤 리소스에 액세스할 수 있는지에 대한 정확한 인벤토리가 필요합니다. 이것이 없으면 기업은 잠재적인 공격 경로를 파악할 수 없습니다.
엔터프라이즈 에이전트는 단순히 직원 계정의 확장이 아니라, 자체적인 엄격한 거버넌스가 필요한 non-human identities (NHI)입니다. 각 에이전트는 최소 권한 원칙을 준수해야 하며 모든 활동에 대해 포괄적인 감사 가능성을 갖춰야 합니다. 에이전트를 직원의 대리인이 아닌 별도의 ID로 취급하는 것이 가장 중요합니다.
Microsoft의 Project Perception과 Agent 365는 에이전트에게 인간 사용자와 구별되는 고유한 ID를 부여함으로써 이를 해결합니다. 이를 통해 작업 범위가 지정되고 시간이 제한된 액세스가 가능해지며, 에이전트가 필요할 때 정확히 필요한 권한만 갖도록 보장합니다. 정적 액세스에서 동적이고 risk-adapted permissions로의 이러한 전환은 대규모 에이전트 관련 위협을 억제하는 데 필수적입니다.
Microsoft의 답변: 만료되는 권한
Microsoft의 Project Perception과 Agent 365는 에이전트를 발견하고, 제어 격차를 식별하며, 전체적인 위험을 관리하도록 설계된 중요한 거버넌스 계층을 제공합니다. 이 아키텍처는 에이전트에게 고유한 ID를 할당하여 운영 액세스를 직원의 승인된 권한과 분리합니다.
광범위한 상시 권한 대신 에이전트는 dynamic, time-bound permissions를 받습니다. 이는 에이전트가 정의된 작업을 위해서만 특정 지원 리소스에 액세스할 수 있으며, 작업 완료 시 액세스가 만료됨을 의미합니다. 동적으로 적용되는 이 최소 권한 원칙은 손상된 에이전트로 인한 잠재적 피해를 크게 줄여줍니다.
중요한 점은 위험 평가가 초기 로그인 단계를 넘어선다는 것입니다. Microsoft의 제어 기능은 런타임 시점에 지원되는 에이전트 작업이 현재 정책 및 위험 수준에 부합하는지 지속적으로 평가합니다. 에이전트가 예상치 못한 동작을 보이거나 위험 프로필이 변경되면, 직원의 현재 액세스를 방해하지 않으면서도 기능을 제한하는 억제 조치가 취해집니다.
이러한 접근 방식은 단일 프롬프트 주입이 더 광범위한 기업 보안 침해로 이어지는 것을 방지합니다. 일반적인 공격 벡터에 대한 자세한 내용은 OWASP Top 10 for Large Language Model Applications를 참조하십시오. 귀하의 팀은 권장되는 보호 조치를 검토하고, 그 영향을 미리 확인하며, 적용 전 단계별 배포를 승인함으로써 향상된 에이전트 보안으로의 통제된 전환을 보장할 수 있습니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
전사적 방어에도 여전히 사람의 승인이 필요합니다
Microsoft의 비전은 개별 에이전트 보안을 넘어 전사적 방어(fleet-wide defense)로 확장됩니다. Project Perception은 팀이 전체 에이전트 그룹에 걸쳐 위험 패턴을 식별하고 대응할 수 있도록 돕는 '가디언 에이전트(guardian agents)'를 도입합니다. 이는 개별적인 조사에서 응집력 있고 체계적인 보호로 초점을 전환합니다.
이 접근 방식은 중요한 인간적 요소를 유지합니다. 영상에서는 IT 팀이 권장 보호 조치를 검토하고, 정책 변경의 영향을 미리 확인하며, 새로운 보안 조치가 시행되기 전에 단계별 배포를 승인하는 과정을 강조합니다. 이러한 신중한 'human-in-the-loop(인간 개입)' 프로세스는 자동화된 방어가 비즈니스 목표 및 운영 현실과 일치하도록 보장합니다.
기업은 지금 즉시 계층적 방어 전략을 채택해야 합니다. 여기에는 다음이 포함됩니다:
- 모든 에이전트 및 해당 기능 인벤토리화
- 최소 권한 액세스로 ID 범위 지정
- 이상 징후에 대한 지속적인 작업 모니터링
- 억제 전략 테스트
더 자세한 기술 지침은 OWASP의 LLM 애플리케이션 보안 가이드 및 Microsoft Learn 문서를 참조하십시오. Stork.AI는 에이전트 보안 발전을 위한 Microsoft와의 파트너십에 감사드립니다.
자주 묻는 질문
프롬프트 주입이 유일한 AI 에이전트 보안 위험이 아닌 이유는 무엇인가요?
주입된 명령은 에이전트의 데이터 및 도구 액세스 권한을 악용하여, 조작된 입력을 승인되지 않은 작업으로 전환할 수 있습니다.
Project Perception이란 무엇인가요?
Project Perception은 Microsoft의 에이전트 보안 이니셔티브로, 영상에서는 팀이 여러 에이전트에 걸쳐 위험을 관리할 수 있도록 에이전트 인사이트와 도구를 제공하는 것으로 설명됩니다.
동적 권한은 에이전트 보안에 어떻게 도움이 되나요?
동적 권한은 특정 작업 및 기간에 대해서만 에이전트에 액세스 권한을 부여하므로, 광범위하고 상시적인 권한에 대한 의존도를 줄여줍니다.
Microsoft의 에이전트 제어 기능은 위험한 작업을 자동으로 차단하나요?
영상에서는 IT 팀이 권장 보호 조치를 검토하고, 미리 확인하며, 시행 전 단계별 배포를 승인할 수 있다고 설명합니다.