Обычный скрипт скрывает триггер отказа
В ходе неожиданного открытия исследователь обнаружил на популярном веб-сайте скрипт отслеживания, содержащий невидимые символы, которые декодировались в поддельные инструкции для ИИ. Этот скрытый текст включал упоминания запретных тем, таких как создание ядов и события на площади Тяньаньмэнь. Цель заключалась не в описании реальной функции скрипта, а в срабатывании фильтров безопасности ИИ для предотвращения анализа.
После декодирования строка представляла собой сфабрикованный набор инструкций, предназначенных для обхода различных проверок безопасности ИИ. Они варьировались от предупреждений о биологических рисках, связанных с химическими соединениями, до политически чувствительных тем, призванных остановить даже более лояльные модели. Текст был преднамеренной попыткой использовать встроенные механизмы защиты ИИ против него самого.
Под этим обманчивым слоем код представлял собой обычный скрипт для защиты от ботов и снятия цифровых отпечатков (fingerprinting). Его основная роль заключалась в идентификации и отслеживании пользователей, а не в выполнении вредоносной нагрузки. Скрытый «отравленный» текст служил механизмом антианализа — сложной формой обфускации, призванной помешать инструментам безопасности на базе ИИ проанализировать его истинное поведение.
Это открытие подчеркивает новый вектор в кибербезопасности: использование защитных механизмов ИИ в качестве тактики защиты или нападения. Вместо того чтобы доказывать наличие опасной нагрузки, скрытый текст продемонстрировал продвинутый метод предотвращения автоматизированного контроля, превращая осторожность ИИ в блокировку.
Когда фильтры безопасности останавливают работу по обеспечению безопасности
Чтобы проверить влияние скрипта, исследователь представил его восьми агентам ИИ, поручив им деобфусцировать код. Запрос включал критическое предупреждение: подозрительные имена переменных могут быть намеренными приманками. Эта настройка была нацелена на то, чтобы проверить, смогут ли модели отличить подлинный код от намеренно «отравленного» текста.
Результаты подчеркнули резкий контраст между закрытыми и открытыми моделями. OpenAI GPT-6 Astra и Fable 5.1 немедленно пометили скрипт как биологический риск, отказавшись от обработки. Claude Opus 5.5 и Fable 5.1 проанализировали несколько тысяч символов, но были остановлены фильтрами безопасности до генерации какого-либо вывода. Frontier-модели оказались полностью неспособны к сотрудничеству.
Открытые модели, однако, продемонстрировали устойчивость. DeepSeek, GLM и Kimi продолжили деобфускацию, не смутившись даже встроенным упоминанием площади Тяньаньмэнь, призванным их остановить. Это расхождение предполагает наличие различных порогов активации фильтров безопасности в разных архитектурах ИИ.
GLM, например, успешно идентифицировал скрытые сообщения как шум. Затем он распознал, что имена переменных, якобы связанные с «отравлением», на самом деле являются математическими функциями, генерирующими числовые значения, активно используемые базовым кодом. Этот анализ продемонстрировал способность модели проникать сквозь обфускацию и извлекать значимую информацию, отделяя логику подлинного кода от обманчивых триггеров безопасности.
Тот же трюк может превратиться в киберловушку
Тот же трюк может превратиться в киберловушку
Злоумышленники используют механизмы безопасности ИИ, чтобы препятствовать защитному анализу, но тот же принцип может быть использован против автоматизированных злоумышленников. Компания по кибербезопасности Tracebit разработала контекстные бомбы (context bombs): короткие, тщательно составленные строки, встроенные в «канарейки» — приманки, такие как поддельные учетные данные или файлы, предназначенные для привлечения атакующих. Эти строки активируют внутренние фильтры безопасности агента ИИ, заставляя его отказаться от выполнения задачи.
Механизм обманчиво прост: автономный AI-атакующий сканирует приманку, загружает внедренный текст в свое контекстное окно и активирует собственные защитные механизмы. Этот отказ останавливает агента, превращая его запрограммированные меры безопасности в защитный «аварийный выключатель». В июле Tracebit опубликовала исследование этих «контекстных бомб», формализовав их использование.
Расширенная методология Tracebit, охватывающая девять техник обмана в ходе 773 тестовых запусков AWS, доказала свою высокую эффективность. «Контекстные бомбы» сократили выполнение целей автономными атакующими на 91% и увеличили расходы на инференс атакующего до 23 раз. Передовые модели, такие как GPT-5.6 Cyber, Kimi K3 и DeepSeek V4 Pro, которые ранее демонстрировали базовый уровень успеха в 97,5%, достигли 0% успеха при столкновении с этими ловушками. Подробнее об оригинальном открытии читайте в статье Why Is This Fingerprinting Script Creating Bioweapons?.
Такое параллельное использование триггеров отказа подчеркивает критически важную новую динамику в кибербезопасности на базе AI. Атакующие могут препятствовать AI-анализу защитников, внедряя «отравленный текст», в то время как защитники могут перенаправить те же механизмы безопасности против автоматизированных злоумышленников, превращая внутреннюю логику AI в мощный инструмент защиты.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Полезный датчик, а не универсальный щит
«Контекстные бомбы» — это полезный датчик, но не универсальный щит. Эта защитная тактика полностью зависит от модели атакующего агента и встроенных в нее мер безопасности. AI с другим обучением или менее строгими политиками отказа может просто проигнорировать внедренный контент или выполнить задачу без прерывания, что продемонстрировали открытые модели, такие как DeepSeek, GLM и Kimi.
Для команд безопасности полагаться исключительно на строгие отказы сопряжено с операционными рисками. Чрезмерно чувствительные «контекстные бомбы» могут генерировать ложноположительные срабатывания, вызывая оповещения при легитимном анализе вредоносного ПО или во время контролируемых тестов на проникновение. Аналитики должны поддерживать альтернативные инструменты и пути проверки, чтобы эти отказы не замедляли критически важную работу по обеспечению безопасности.
«Контекстные бомбы» — это один из уровней надежной стратегии обмана. Исследование Tracebit показывает 91% снижение выполнения целей атакующего при использовании этих методов. Однако команды безопасности должны тестировать эти трюки со скрытым текстом на конкретных AI-моделях, с которыми они ожидают столкнуться, понимая, что отказ модели обрабатывать информацию не равносилен безопасности всей системы. Это лишь указывает на то, что сработал один конкретный защитный механизм.
Часто задаваемые вопросы
Что такое скрытый «отравленный текст» в скрипте?
Это скрытый текст, иногда закодированный невидимыми символами, предназначенный для активации фильтров безопасности AI-модели при анализе ею скрипта.
Что скрытый текст пытался заставить делать AI-модели?
Он содержал фальшивые инструкции и конфиденциальные темы, призванные спровоцировать отказы, прерывая попытки проверки окружающего кода.
Что такое «контекстная бомба»?
«Контекстная бомба» — это текст, внедренный в приманку (например, canary), чтобы активировать защитные механизмы AI-атакующего, когда он считывает этот актив.
Останавливает ли эта техника любую AI-модель?
Нет. Тесты в видео показали, что некоторые закрытые модели отказались от выполнения задачи, в то время как DeepSeek, GLM и Kimi завершили анализ.