Ein Agent kann auf die falsche Stimme hören
Prompt Injection ist ein Einstiegspunkt, aber die eigentliche Bedrohung entsteht, wenn nicht vertrauenswürdige Inhalte einen autonomen Agenten beeinflussen. Das Risiko besteht nicht nur darin, was einem Agenten gesagt wird, sondern was er tut, sobald er durch eine externe, böswillige Anweisung kompromittiert wurde. Dies erfordert einen Wandel von der bloßen Eingabefilterung hin zu einer umfassenden Agenten-Governance.
Cole Medin, ein KI-Entwickler, veranschaulicht dies mit seinem „Second Brain“-Agenten, der wichtige Geschäftsvorgänge verwaltet und auf private Daten zugreift. Um das Risiko zu mindern, implementiert Medin strenge Sicherheitsüberprüfungen für alle eingehenden Daten, bevor sie das LLM erreichen, und beschränkt den Zugriff des Agenten strikt auf die notwendigen Systeme.
Die tödliche Kombination für Unternehmen besteht aus Agenten mit Zugriff auf private Daten, nicht vertrauenswürdigen externen Eingaben und der Fähigkeit, unabhängig zu schreiben oder zu kommunizieren. Während die Eingabefilterung eine wichtige erste Verteidigungslinie darstellt, kann sie nicht garantieren, dass ein Agent immer sichere Aktionen ausführt. Vollständiger Schutz erfordert die Steuerung der Identität und Berechtigungen von Agenten zur Laufzeit, wobei Agenten als nicht-menschliche Identitäten behandelt werden müssen, die eine Zero-Trust-Eindämmung erfordern.
Das Unternehmensproblem ist die Agenten-Wildwuchs
Ein persönlich verwalteter Agent, wie das „Second Brain“ von Cole Medin, kann mit manuellen Sicherheitsüberprüfungen und fest codierten Tool-Beschränkungen betrieben werden. Dieses Modell bricht jedoch bei unternehmensweiter Skalierung zusammen. Unternehmen setzen nicht nur einen Agenten ein; sie verwalten Flotten, die in Cloud-Diensten und auf Mitarbeitergeräten laufen, oft mit unklarer Zuständigkeit und Reichweite.
Dieser Agenten-Wildwuchs schafft eine tiefgreifende Sichtbarkeitslücke für die IT. Unternehmen benötigen ein präzises Inventar darüber, welche Agenten existieren, wer für sie verantwortlich ist, welche spezifischen Identitäten sie verwenden und, was entscheidend ist, auf welche Ressourcen sie zugreifen können. Ohne dies ist das Unternehmen blind gegenüber potenziellen Angriffsvektoren.
Unternehmensagenten sind nicht nur Erweiterungen eines Mitarbeiterkontos; sie sind nicht-menschliche Identitäten (NHIs), die ihre eigene strenge Governance erfordern. Jeder Agent muss die Prinzipien der geringsten Rechte (Least Privilege) und der umfassenden Revisionsfähigkeit für alle seine Aktivitäten einhalten. Es ist von größter Bedeutung, Agenten als eigenständige Identitäten zu behandeln und nicht als Stellvertreter eines Mitarbeiters.
Microsofts Project Perception und Agent 365 adressieren dies, indem sie Agenten mit eigenen Identitäten ausstatten, die sich von menschlichen Benutzern unterscheiden. Dies ermöglicht einen aufgabenbezogenen, zeitlich begrenzten Zugriff und stellt sicher, dass ein Agent nur die Berechtigungen hat, die er benötigt, und zwar genau dann, wenn er sie benötigt. Dieser Wechsel von statischem Zugriff zu dynamischen, risikoadaptierten Berechtigungen ist entscheidend für die Eindämmung von Bedrohungen durch Agenten in großem Maßstab.
Microsofts Antwort: Berechtigungen, die ablaufen
Microsofts Project Perception und Agent 365 bieten eine kritische Governance-Ebene, die darauf ausgelegt ist, Agenten zu entdecken, Kontrolllücken zu identifizieren und das Risiko für die gesamte Flotte zu verwalten. Diese Architektur weist Agenten ihre eigene Identität zu und entkoppelt ihren operativen Zugriff von den genehmigten Berechtigungen eines Mitarbeiters.
Anstelle von weitreichenden, dauerhaften Privilegien erhalten Agenten dynamische, zeitlich begrenzte Berechtigungen. Dies bedeutet, dass ein Agent nur für eine definierte Aufgabe Zugriff auf bestimmte, unterstützte Ressourcen erhält, wobei der Zugriff nach Abschluss der Aufgabe abläuft. Dieses Prinzip der geringsten Rechte, dynamisch angewendet, begrenzt den potenziellen Schaden durch einen kompromittierten Agenten erheblich.
Entscheidend ist, dass die Risikobewertung über die anfängliche Anmeldung hinausgeht. Die Kontrollen von Microsoft bewerten kontinuierlich unterstützte Agentenaktionen anhand der aktuellen Richtlinien und Risikostufen zur Laufzeit. Wenn ein Agent unerwartetes Verhalten zeigt oder sich sein Risikoprofil ändert, schränken Eindämmungsmaßnahmen seine Fähigkeiten ein, ohne den laufenden Zugriff des Mitarbeiters zu unterbrechen.
Dieser Ansatz verhindert, dass ein einzelner injizierter Prompt zu einer umfassenderen Kompromittierung des Unternehmens führt. Weitere Informationen zu gängigen Angriffsvektoren finden Sie in den OWASP Top 10 for Large Language Model Applications. Ihr Team kann empfohlene Schutzmaßnahmen überprüfen, deren Auswirkungen in einer Vorschau anzeigen und phasenweise Rollouts vor der Durchsetzung genehmigen, um einen kontrollierten Übergang zu einer verbesserten Agentensicherheit zu gewährleisten.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Flottenweite Verteidigung erfordert weiterhin menschliche Genehmigung
Die Vision von Microsoft geht über die Sicherheit einzelner Agenten hinaus hin zu einer flottenweiten Verteidigung. Project Perception führt „Guardian Agents“ ein, die Teams dabei unterstützen, Risikomuster über ganze Agentengruppen hinweg zu identifizieren und darauf zu reagieren. Dies verlagert den Fokus von isolierten Untersuchungen hin zu einem kohärenten, systemischen Schutz.
Dieser Ansatz bewahrt ein entscheidendes menschliches Element. Das Video hebt hervor, dass IT-Teams empfohlene Schutzmaßnahmen überprüfen, die Auswirkungen von Richtlinienänderungen in einer Vorschau anzeigen und ein phasenweises Rollout genehmigen, bevor neue Sicherheitsmaßnahmen durchgesetzt werden. Dieser bewusste „Human-in-the-loop“-Prozess stellt sicher, dass automatisierte Abwehrmechanismen mit den Geschäftszielen und betrieblichen Realitäten in Einklang stehen.
Unternehmen müssen jetzt eine mehrschichtige Verteidigungsstrategie einführen. Dazu gehören:
- Inventarisierung aller Agenten und ihrer Fähigkeiten
- Festlegung von Identitäten mit Least-Privilege-Zugriff
- Kontinuierliche Überwachung von Aktionen auf Anomalien
- Testen von Eindämmungsstrategien
Für tiefergehende technische Anleitungen verweisen wir auf die LLM-Anwendungssicherheitsrichtlinien von OWASP und die Microsoft Learn-Dokumentation. Stork.AI dankt Microsoft für die Partnerschaft bei der Weiterentwicklung der Agentensicherheit.
Häufig gestellte Fragen
Warum ist Prompt Injection nicht das einzige Sicherheitsrisiko für KI-Agenten?
Eine injizierte Anweisung kann den Zugriff eines Agenten auf Daten und Tools ausnutzen und eine manipulierte Eingabe in eine nicht autorisierte Aktion umwandeln.
Was ist Project Perception?
Project Perception ist die Agenten-Sicherheitsinitiative von Microsoft, die im Video als Bereitstellung von Agenten-Einblicken und Tools beschrieben wird, um Teams bei der Risikoverwaltung über Agenten hinweg zu unterstützen.
Wie helfen dynamische Berechtigungen bei der Sicherung von Agenten?
Sie gewähren einem Agenten Zugriff für eine bestimmte Aufgabe und einen bestimmten Zeitraum, wodurch die Abhängigkeit von umfassenden, permanenten Berechtigungen verringert wird.
Blockieren die Agentenkontrollen von Microsoft riskante Aktionen automatisch?
Das Video beschreibt empfohlene Schutzmaßnahmen, die IT-Teams überprüfen, in einer Vorschau anzeigen und für ein phasenweises Rollout vor der Durchsetzung genehmigen können.