Um agente pode obedecer à voz errada
A Prompt injection é um ponto de entrada, mas a verdadeira ameaça surge depois que conteúdo não confiável influencia um agente autônomo. O risco não é apenas o que é dito a um agente, mas o que ele faz uma vez comprometido por uma instrução externa e maliciosa. Isso exige uma mudança de uma simples filtragem de entrada para uma governança abrangente de agentes.
Cole Medin, um desenvolvedor de IA, ilustra isso com seu agente "segundo cérebro", que gerencia operações comerciais significativas e acessa dados privados. Para mitigar o risco, Medin implementa verificações de segurança rigorosas para todos os dados recebidos antes que cheguem ao LLM, além de limitar estritamente o acesso do agente apenas aos sistemas necessários.
A combinação letal para empresas envolve agentes com acesso a dados privados, entrada externa não confiável e a capacidade de escrever ou se comunicar de forma independente. Embora a filtragem de entrada seja uma primeira linha de defesa crítica, ela não pode garantir que um agente sempre tomará ações seguras. A proteção total requer governar a identidade e as permissões do agente em tempo de execução, tratando os agentes como identidades não humanas que exigem contenção Zero-Trust.
O problema empresarial é a proliferação de agentes (Agent Sprawl)
Um agente gerenciado pessoalmente, como o "segundo cérebro" de Cole Medin, pode operar com verificações de segurança manuais e restrições de ferramentas codificadas. No entanto, esse modelo entra em colapso na escala empresarial. As empresas não implantam um agente; elas gerenciam frotas executadas em serviços de nuvem e em dispositivos de funcionários, muitas vezes com propriedade e alcance pouco claros.
Essa proliferação de agentes cria uma profunda lacuna de visibilidade para a TI. As organizações precisam de um inventário preciso de quais agentes existem, quem é responsável por eles, as identidades específicas que usam e, criticamente, quais recursos podem acessar. Sem isso, a empresa fica cega para potenciais vetores de ataque.
Os agentes empresariais não são meras extensões de uma conta de funcionário; eles são identidades não humanas (NHIs) que exigem sua própria governança rigorosa. Cada agente deve aderir aos princípios de privilégio mínimo e auditabilidade abrangente para todas as suas atividades. Tratar agentes como identidades distintas, em vez de um proxy de um funcionário, é fundamental.
O Project Perception e o Agent 365 da Microsoft abordam isso fornecendo aos agentes suas próprias identidades, distintas dos usuários humanos. Isso permite acesso com escopo de tarefa e tempo limitado, garantindo que um agente tenha apenas as permissões de que precisa, exatamente quando precisa delas. Essa mudança do acesso estático para permissões dinâmicas e adaptadas ao risco é essencial para conter ameaças relacionadas a agentes em escala.
A resposta da Microsoft: Permissão que expira
O Project Perception e o Agent 365 da Microsoft oferecem uma camada de governança crítica projetada para descobrir agentes, identificar lacunas de controle e gerenciar riscos em toda a frota. Essa arquitetura atribui aos agentes sua própria identidade, dissociando seu acesso operacional das permissões aprovadas de um funcionário.
Em vez de privilégios amplos e permanentes, os agentes recebem permissões dinâmicas e com limite de tempo. Isso significa que um agente ganha acesso a recursos específicos e suportados apenas para uma tarefa definida, com o acesso expirando após a conclusão da tarefa. Esse princípio de privilégio mínimo, aplicado dinamicamente, reduz significativamente os danos potenciais de um agente comprometido.
Crucialmente, a avaliação de risco vai além do login inicial. Os controles da Microsoft avaliam continuamente as ações dos agentes suportados em relação à política atual e aos níveis de risco em runtime. Se um agente exibir comportamento inesperado ou se seu perfil de risco mudar, medidas de contenção restringirão suas capacidades sem interromper o acesso contínuo do funcionário.
Essa abordagem evita que um único prompt injetado se transforme em um comprometimento corporativo mais amplo. Para leitura adicional sobre vetores de ataque comuns, consulte o OWASP Top 10 for Large Language Model Applications. Sua equipe pode revisar as proteções recomendadas, visualizar seu impacto e aprovar implementações faseadas antes da aplicação, garantindo uma transição controlada para uma segurança de agente aprimorada.
Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.
um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros
A defesa de toda a frota ainda precisa de aprovação humana
A visão da Microsoft vai além da segurança individual do agente para a defesa de toda a frota. O Project Perception apresenta “agentes guardiões” para ajudar as equipes a identificar e responder a padrões de risco em grupos inteiros de agentes. Isso muda o foco de investigações isoladas para uma proteção coesa e sistêmica.
Essa abordagem mantém um elemento humano crucial. O vídeo destaca que as equipes de TI revisam as proteções recomendadas, visualizam o impacto das mudanças de política e aprovam uma implementação faseada antes que qualquer nova medida de segurança seja aplicada. Esse processo deliberado, com intervenção humana, garante que as defesas automatizadas estejam alinhadas com os objetivos de negócios e as realidades operacionais.
As empresas devem adotar uma estratégia de defesa em camadas agora. Isso inclui:
- Inventariar todos os agentes e suas capacidades
- Definir o escopo das identidades com acesso de privilégio mínimo
- Monitorar continuamente as ações em busca de anomalias
- Testar estratégias de contenção
Para uma orientação técnica mais aprofundada, consulte a orientação de segurança de aplicativos LLM da OWASP e a documentação do Microsoft Learn. A Stork.AI agradece à Microsoft pela parceria no avanço da segurança de agentes.
Perguntas Frequentes
Por que a injeção de prompt não é o único risco de segurança de agentes de IA?
Uma instrução injetada pode explorar o acesso de um agente a dados e ferramentas, transformando uma entrada manipulada em uma ação não autorizada.
O que é o Project Perception?
O Project Perception é a iniciativa de segurança de agentes da Microsoft, descrita no vídeo como fornecedora de insights e ferramentas para ajudar as equipes a gerenciar riscos em todos os agentes.
Como as permissões dinâmicas ajudam a proteger os agentes?
Elas concedem a um agente acesso para uma tarefa e período de tempo específicos, reduzindo a dependência de permissões amplas e sempre ativas.
Os controles de agente da Microsoft bloqueiam automaticamente ações de risco?
O vídeo descreve proteções recomendadas que as equipes de TI podem revisar, visualizar e aprovar para implementação faseada antes da aplicação.