Un agente puede obedecer la voz equivocada
La inyección de prompts es un punto de entrada, pero la verdadera amenaza surge después de que el contenido no confiable influye en un agente autónomo. El riesgo no es solo qué se le dice a un agente, sino qué hace una vez comprometido por una instrucción externa maliciosa. Esto exige pasar de un simple filtrado de entradas a una gobernanza integral de agentes.
Cole Medin, un desarrollador de IA, ilustra esto con su agente de "segundo cerebro", que gestiona operaciones comerciales importantes y accede a datos privados. Para mitigar el riesgo, Medin implementa rigurosos controles de seguridad para todos los datos entrantes antes de que lleguen al LLM, además de limitar estrictamente el acceso del agente solo a los sistemas necesarios.
La combinación letal para las empresas involucra agentes con acceso a datos privados, entradas externas no confiables y la capacidad de escribir o comunicarse de forma independiente. Si bien el filtrado de entradas es una primera línea de defensa crítica, no puede garantizar que un agente siempre realice acciones seguras. La protección total requiere gobernar la identidad y los permisos del agente en tiempo de ejecución, tratando a los agentes como identidades no humanas que requieren contención de Zero-Trust.
El problema empresarial es la proliferación de agentes
Un agente gestionado personalmente, como el "segundo cerebro" de Cole Medin, puede operar con controles de seguridad manuales y restricciones de herramientas codificadas. Sin embargo, este modelo colapsa a escala empresarial. Las empresas no despliegan un solo agente; gestionan flotas que se ejecutan en servicios en la nube y en dispositivos de los empleados, a menudo con propiedad y alcance poco claros.
Esta proliferación de agentes crea una profunda brecha de visibilidad para TI. Las organizaciones necesitan un inventario preciso de qué agentes existen, quién es responsable de ellos, las identidades específicas que utilizan y, fundamentalmente, a qué recursos pueden acceder. Sin esto, la empresa está ciega ante posibles vectores de ataque.
Los agentes empresariales no son meras extensiones de una cuenta de empleado; son identidades no humanas (NHI) que requieren su propia gobernanza estricta. Cada agente debe adherirse a los principios de menor privilegio y auditabilidad integral de toda su actividad. Tratar a los agentes como identidades distintas, en lugar de como un proxy del empleado, es primordial.
Project Perception y Agent 365 de Microsoft abordan esto proporcionando a los agentes sus propias identidades, distintas de las de los usuarios humanos. Esto permite un acceso limitado a tareas y tiempo, asegurando que un agente solo tenga los permisos que necesita, precisamente cuando los necesita. Este cambio del acceso estático a los permisos adaptados al riesgo dinámicos es esencial para contener las amenazas relacionadas con los agentes a escala.
La respuesta de Microsoft: Permisos que caducan
Project Perception y Agent 365 de Microsoft ofrecen una capa de gobernanza crítica diseñada para descubrir agentes, identificar brechas de control y gestionar el riesgo en toda la flota. Esta arquitectura asigna a los agentes su propia identidad, desacoplando su acceso operativo de los permisos aprobados de un empleado.
En lugar de amplios privilegios permanentes, los agentes reciben permisos dinámicos y limitados en el tiempo. Esto significa que un agente obtiene acceso a recursos específicos y compatibles únicamente para una tarea definida, y el acceso caduca al finalizar la tarea. Este principio de menor privilegio, aplicado dinámicamente, reduce significativamente el daño potencial de un agente comprometido.
Fundamentalmente, la evaluación de riesgos se extiende más allá del inicio de sesión inicial. Los controles de Microsoft evalúan continuamente las acciones de los agentes admitidos frente a la política actual y los niveles de riesgo en tiempo de ejecución (runtime). Si un agente muestra un comportamiento inesperado o su perfil de riesgo cambia, las medidas de contención restringen sus capacidades sin interrumpir el acceso continuo del empleado.
Este enfoque evita que una única instrucción (prompt) inyectada se convierta en un compromiso empresarial más amplio. Para obtener más información sobre los vectores de ataque comunes, consulte el OWASP Top 10 for Large Language Model Applications. Su equipo puede revisar las protecciones recomendadas, previsualizar su impacto y aprobar implementaciones graduales antes de su aplicación, asegurando una transición controlada hacia una seguridad mejorada de los agentes.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
La defensa a nivel de flota aún necesita aprobación humana
La visión de Microsoft se extiende más allá de la seguridad de los agentes individuales hacia una defensa a nivel de flota. Project Perception introduce "agentes guardianes" para ayudar a los equipos a identificar y responder a patrones de riesgo en grupos completos de agentes. Esto desplaza el enfoque de las investigaciones aisladas a una protección cohesiva y sistémica.
Este enfoque mantiene un elemento humano crucial. El video destaca que los equipos de TI revisan las protecciones recomendadas, previsualizan el impacto de los cambios en las políticas y aprueban una implementación gradual antes de que se aplique cualquier nueva medida de seguridad. Este proceso deliberado, con intervención humana, garantiza que las defensas automatizadas se alineen con los objetivos comerciales y las realidades operativas.
Las empresas deben adoptar una estrategia de defensa en capas ahora. Esto incluye:
- Inventariar todos los agentes y sus capacidades
- Delimitar identidades con acceso de privilegio mínimo
- Monitorear continuamente las acciones en busca de anomalías
- Probar estrategias de contención
Para obtener una guía técnica más profunda, consulte la guía de seguridad de aplicaciones LLM de OWASP y la documentación de Microsoft Learn. Stork.AI agradece a Microsoft por su asociación en el avance de la seguridad de los agentes.
Preguntas frecuentes
¿Por qué la inyección de prompts no es el único riesgo de seguridad de los agentes de IA?
Una instrucción inyectada puede explotar el acceso de un agente a datos y herramientas, convirtiendo una entrada manipulada en una acción no autorizada.
¿Qué es Project Perception?
Project Perception es la iniciativa de seguridad de agentes de Microsoft, descrita en el video como una herramienta que proporciona información y herramientas para ayudar a los equipos a gestionar el riesgo en todos los agentes.
¿Cómo ayudan los permisos dinámicos a asegurar a los agentes?
Otorgan a un agente acceso para una tarea y un período de tiempo específicos, reduciendo la dependencia de permisos amplios y siempre activos.
¿Los controles de agentes de Microsoft bloquean automáticamente las acciones riesgosas?
El video describe protecciones recomendadas que los equipos de TI pueden revisar, previsualizar y aprobar para una implementación gradual antes de su aplicación.