Der verborgene Text, der KI blind machen kann

In einer überraschenden Entdeckung fand ein Forscher auf einer stark frequentierten Website ein Tracking-Skript, das unsichtbare Zeichen enthielt, die sich in gefälschte KI-Anweisungen dekodieren ließen. Dieser verborgene Text enthielt Verweise auf Tabuthemen wie die Herstellung von Gift und den Platz des Himmlischen Friedens. Der Zweck bestand nicht darin, die tatsächliche Funktion des Skripts zu beschreiben, sondern KI-Sicherheitsfilter auszulösen und eine Analyse zu verhindern.

Nach der Dekodierung präsentierte die Zeichenfolge einen fabrizierten Satz von Anweisungen, die darauf ausgelegt waren, eine Vielzahl von KI-Sicherheitsprüfungen auszulösen. Diese reichten von Warnungen vor biologischen Risiken im Zusammenhang mit chemischen Verbindungen bis hin zu politisch sensiblen Themen, die selbst nachsichtigere Modelle stoppen sollten. Der Text war ein bewusster Versuch, die eingebauten Leitplanken der KI gegen sie selbst zu instrumentalisieren.

Unter dieser täuschenden Ebene war der Code ein konventionelles Anti-Bot- und Fingerprinting-Skript. Seine Hauptaufgabe bestand darin, Benutzer zu identifizieren und zu verfolgen, nicht bösartige Payloads auszuführen. Der verborgene, "vergiftete" Text diente als Anti-Analyse-Mechanismus, eine ausgeklügelte Form der Verschleierung, um KI-gestützte Sicherheitstools davon abzuhalten, ihr wahres Verhalten zu untersuchen.

Die Erkenntnis unterstreicht einen neuen Vektor in der Cybersicherheit: die Ausnutzung der Schutzmechanismen der KI als defensive oder offensive Taktik. Anstatt einen gefährlichen Payload zu beweisen, demonstrierte der verborgene Text eine fortschrittliche Methode, um automatisierte Prüfungen zu verhindern und die Vorsicht der KI in eine Blockade zu verwandeln.

Um die Auswirkungen des Skripts zu testen, präsentierte ein Forscher es acht KI-Agenten und wies sie an, den Code zu deobfuskieren. Der Prompt enthielt eine kritische Warnung: Verdächtige Variablennamen könnten absichtliche Ablenkungsmanöver sein. Dieser Aufbau zielte darauf ab zu sehen, ob Modelle echten Code von absichtlichem Gifttext unterscheiden können.

Die Ergebnisse zeigten einen starken Kontrast zwischen geschlossenen und offenen Modellen. OpenAI’s GPT-6 Astra und Fable 5.1 markierten das Skript sofort wegen biologischen Risikos und verweigerten die Verarbeitung. Claude Opus 5.5 und Fable 5.1 nahmen mehrere tausend Zeichen auf, wurden aber durch Sicherheitsfilter gestoppt, bevor sie eine Ausgabe generieren konnten. Frontier-Modelle erwiesen sich als völlig unkooperativ.

Offene Modelle zeigten jedoch Widerstandsfähigkeit. DeepSeek, GLM und Kimi fuhren mit der Deobfuskierung fort, unbeeindruckt selbst von dem eingebetteten Verweis auf den Platz des Himmlischen Friedens, der sie aus dem Konzept bringen sollte. Diese Divergenz deutet auf unterschiedliche Schwellenwerte für die Aktivierung von Sicherheitsfiltern über verschiedene KI-Architekturen hin.

GLM identifizierte beispielsweise die verborgenen Nachrichten erfolgreich als Rauschen. Es erkannte dann, dass die scheinbar giftbezogenen Variablennamen tatsächlich mathematische Funktionen waren, die numerische Werte erzeugten, die aktiv vom zugrunde liegenden Code verwendet wurden. Diese Analyse zeigte seine Fähigkeit, die Verschleierung zu durchdringen und aussagekräftige Informationen zu extrahieren, wobei echte Codelogik von den täuschenden Sicherheits-Triggern getrennt wurde.

Derselbe Trick kann sich in eine Cyberfalle verwandeln

Angreifer nutzen die Sicherheitsmechanismen der KI aus, um defensive Analysen zu behindern, aber dasselbe Prinzip kann gegen automatisierte Eindringlinge eingesetzt werden. Das Cybersicherheitsunternehmen Tracebit entwickelte Kontextbomben: kurze, sorgfältig erstellte Zeichenfolgen, die in Canaries eingebettet sind – Köder-Assets wie gefälschte Anmeldedaten oder Dateien, die dazu dienen, Angreifer anzulocken. Diese Zeichenfolgen aktivieren die intrinsischen Sicherheitsfilter eines KI-Agenten und veranlassen ihn, die Aufgabe zu verweigern.

Der Mechanismus ist täuschend einfach: Ein autonomer KI-Angreifer scannt einen Köder, nimmt den platzierten Text in sein Kontextfenster auf und löst seine eigenen Sicherheitsvorkehrungen aus. Diese Verweigerung stoppt den Agenten und verwandelt seine programmierten Schutzmaßnahmen in einen defensiven Kill-Switch. Im Juli veröffentlichte Tracebit Forschungsergebnisse zu diesen Context Bombs und formalisierte deren Einsatz.

Das erweiterte Framework von Tracebit, das neun Täuschungstechniken in 773 AWS-Testläufen umfasst, erwies sich als äußerst effektiv. Context Bombs reduzierten den Abschluss der Zielvorgaben autonomer Angreifer um 91 % und erhöhten die Inferenzkosten der Angreifer um das bis zu 23-fache. Frontier-Modelle wie GPT-5.6 Cyber, Kimi K3 und DeepSeek V4 Pro, die zuvor eine Basis-Erfolgsrate von 97,5 % aufwiesen, erzielten bei der Begegnung mit diesen Fallen eine Erfolgsquote von 0 %. Weitere Informationen zur ursprünglichen Entdeckung finden Sie unter Why Is This Fingerprinting Script Creating Bioweapons?.

Diese parallele Nutzung von Verweigerungsauslösern verdeutlicht eine kritische neue Dynamik in der KI-gesteuerten Cybersicherheit. Angreifer können die KI-Analyse der Verteidiger durch das Platzieren von "Gifttext" frustrieren, während Verteidiger dieselben Sicherheitsvorkehrungen gegen automatisierte Eindringlinge einsetzen und so die interne Logik einer KI in ein wirksames Verteidigungsinstrument verwandeln können.

Context Bombs bieten einen nützlichen Stolperdraht, sind aber kein universeller Schutzschild. Diese Verteidigungstaktik hängt vollständig vom Modell des angreifenden Agenten und dessen eingebetteten Sicherheitsvorkehrungen ab. Eine KI mit anderem Training oder weniger strengen Verweigerungsrichtlinien ignoriert den platzierten Inhalt möglicherweise einfach oder führt die Aufgabe ohne Unterbrechung aus, wie offene Modelle wie DeepSeek, GLM und Kimi zeigen.

Für Sicherheitsteams birgt die alleinige Abhängigkeit von strikten Verweigerungen operationelle Risiken. Übermäßig sensible Context Bombs können False Positives erzeugen und Warnmeldungen bei legitimer Malware-Triage oder während kontrollierter Penetrationstests auslösen. Analysten müssen alternative Werkzeuge und Überprüfungspfade bereithalten, um zu verhindern, dass diese Verweigerungen die kritische Sicherheitsarbeit verlangsamen.

Context Bombs sind eine Ebene einer robusten Täuschungsstrategie. Die Forschung von Tracebit zeigt eine Reduzierung der Zielerreichung von Angreifern um 91 % bei der Anwendung dieser Techniken. Sicherheitsteams müssen diese Tricks mit verstecktem Text jedoch gegen die spezifischen KI-Modelle testen, auf die sie voraussichtlich treffen werden, wobei sie verstehen müssen, dass die Verweigerung eines Modells zur Informationsverarbeitung nicht mit systemweiter Sicherheit gleichzusetzen ist. Es zeigt lediglich an, dass eine spezifische Sicherheitsvorkehrung ausgelöst wurde.

Was ist versteckter Gifttext in einem Skript?

Es handelt sich um verborgenen Text, der manchmal mit unsichtbaren Zeichen kodiert ist und dazu dient, die Sicherheitsfilter eines KI-Modells auszulösen, wenn es das Skript analysiert.

Was sollte der versteckte Text KI-Modelle dazu bringen zu tun?

Er enthielt gefälschte Anweisungen und sensible Themen, die darauf abzielten, Verweigerungen zu provozieren und Versuche zur Untersuchung des umgebenden Codes zu unterbrechen.

Was ist eine Context Bomb?

Eine Context Bomb ist Text, der in einem Köder-Asset, wie z. B. einem Canary, platziert wird, um die Sicherheitsvorkehrungen eines KI-Angreifers auszulösen, wenn dieser das Asset liest.

Stoppt diese Technik jedes KI-Modell?

Nein. Die Tests im Video ergaben, dass einige geschlossene Modelle die Aufgabe verweigerten, während DeepSeek, GLM und Kimi die Analyse abschlossen.