Skip to content
research

Ловушка безопасности ИИ, скрытая у всех на виду

Обычный антибот-скрипт содержал скрытое сообщение, призванное заставить системы ИИ отказаться от его проверки. Тот же самый трюк может защитить специалистов по безопасности или помочь злоумышленникам скрыть свои действия.

Stork editorial team
Ловушка безопасности ИИ, скрытая у всех на виду

Скрытое сообщение, которое остановило сканирование

Сканируя популярные веб-сайты на предмет скриптов для снятия отпечатков браузера (browser-fingerprinting), исследователь обнаружил необычный скрипт с подозрительными именами и невидимыми символами. Этот скрипт, найденный на одном из 10 000 самых популярных сайтов интернета, содержал внешне безобидные элементы наряду с тревожным скрытым контентом.

Декодирование невидимых символов выявило фальшивую инструкцию, наполненную темами, активирующими фильтры безопасности. Этот скрытый текст включал термины, связанные с ядами, такими как рицин и фентанил, а также политически чувствительные термины, такие как площадь Тяньаньмэнь, специально нацеленные на китайские модели ИИ.

Очевидной целью скрипта был обычный антибот-фингерпринтинг, сбор данных, таких как User-Agent и данные GPU. Однако добавленный текст выполнял особую состязательную функцию: приводить к сбою анализа ИИ путем активации фильтров безопасности.

При тестировании коммерческие передовые модели, такие как GPT-6 Astra от OpenAI и Claude Opus 5.5 от Anthropic, немедленно блокировали анализ из-за этих встроенных ключевых слов. Даже программа Daybreak Blue от OpenAI для санкционированных работ по безопасности не смогла обойти отказы Astra.

Напротив, модели с открытым исходным кодом и китайские модели, включая DeepSeek, GLM и Kimi, обработали скрипт без проблем. GLM 5.3 успешно идентифицировала названия ядов как математически безвредные поиски переменных и полностью деобфусцировала код, продемонстрировав критическое расхождение в поведении ИИ.

Когда защитные барьеры становятся повязкой на глазах

Впоследствии исследователи протестировали скрипт на различных больших языковых моделях (LLM). Результаты выявили резкое расхождение: коммерческие передовые модели, такие как GPT-6 Astra от OpenAI, Claude Opus 5.5 и Fable 5.1 от Anthropic, либо полностью отказывались обрабатывать код, либо прерывали анализ на середине, ссылаясь на нарушения безопасности. Astra, например, пометила код как «возможный биологический риск» и отказалась продолжать работу.

Эти результаты подчеркивают критическое ограничение. Даже при наличии специализированных уровней доступа, таких как Daybreak Blue от OpenAI, предназначенных для санкционированных работ по безопасности, модели сохраняли отказ, требуя более высокого уровня Daybreak Red для потенциального обхода. Однако модели с открытым исходным кодом и модели китайской экосистемы, в частности DeepSeek, GLM и Kimi, проанализировали код без инцидентов, успешно деобфусцировав скрипт, несмотря на встроенные слова-ловушки.

Этот механизм отказа создает отказ в анализе (denial of analysis), фактически ослепляя автоматизированные сканеры безопасности. Когда система на базе LLM сталкивается с таким скриптом, ее защитные барьеры могут помешать ей проверить остальную часть подозрительного файла, оставляя потенциально вредоносный код без внимания. Хотя версии моделей, конкретные промпты и уровни доступа могут влиять на поведение, наблюдаемые результаты демонстрируют уязвимость, при которой фильтры безопасности становятся эксплуатируемой повязкой на глазах.

Трюк, который могут использовать как злоумышленники, так и защитники

Злоумышленники могут использовать строки, вызывающие отказ, для нарушения работы систем безопасности на базе ИИ. Внедряя комментарии или имена переменных, ссылающиеся на биологические риски или чувствительные политические темы в составе вредоносного ПО, они могут заставить коммерческие большие языковые модели (LLM) отказаться от обработки или остановить ее до того, как будет достигнут вредоносный код. Это создает эффект отказа в обслуживании (DoS) для статического анализа на базе ИИ, эффективно ослепляя автоматизированные конвейеры безопасности.

Напротив, защитники используют аналогичную тактику с context bombs (контекстными бомбами) в canary tokens. Эти короткие скрытые строки разработаны для того, чтобы заставить AI-агента остановить вторжение после обнаружения подставной приманки. Например, американская компания по кибербезопасности Tracebit сообщила о значительных успехах при использовании context bombs в симулированных атаках.

Тесты Tracebit включали пять ведущих моделей в облачной учетной записи фиктивной компании и 152 запуска атак. Claude Opus 4.8, который получал полный доступ администратора в 93% обычных запусков, не смог сделать это ни разу при наличии хотя бы одной context bomb. В целом по всем моделям частота получения доступа администратора снизилась с 57% до 5% запусков.

Этот метод использует особенности поведения модели, а не надежную идентификацию злоумышленника. Несмотря на эффективность в тестах Tracebit, context bombs используют встроенные механизмы безопасности AI, превращая защитные функции самого атакующего в своего рода «аварийный выключатель» (kill switch). Дополнительную информацию об этом открытии можно найти в статье Why Is This Fingerprinting Script Creating Bioweapons?.

Нравится статья? Получайте такие каждое утро на почту.

одно письмо в день · отписка в два клика · без сторонних трекеров

Настоящее решение — это надежный анализ, а не лазейка

Эта проблема выходит за рамки простой обфускации; она обнажает критическое противоречие в безопасности AI. Широкие политики отказа, разработанные для предотвращения злоупотреблений, могут непреднамеренно стать «повязкой на глазах» для защитников. Например, Hugging Face перешла на использование собственной модели GLM 5.2 для реагирования на инциденты после того, как коммерческие фильтры безопасности AI заблокировали анализ более 17 000 действий злоумышленников, ссылаясь на неспособность отличить вредоносную активность от криминалистического расследования.

Компромисс очевиден: строгие меры безопасности могут препятствовать законной работе по обеспечению безопасности, но их ослабление делает модели более полезными для злоумышленников. В то время как такие модели, как GPT-6 Astra и Claude Opus, отказывались анализировать подозрительные скрипты, открытые модели, такие как DeepSeek, GLM и Kimi, обрабатывали их, выявляя встроенные триггеры отказа и приступая к деобфускации.

Команды безопасности должны проактивно решать эту проблему. Тестируйте модели AI на поведение при отказе с использованием известных состязательных примеров и потенциальных эксплойтов. Внедряйте многоуровневые подходы к сканированию, сочетающие AI с традиционными инструментами и, что критически важно, с проверкой человеком. Проектируйте криминалистические рабочие процессы, исходя из того, что ни одна модель не будет всегда следовать инструкциям, обеспечивая возможность ручного управления (manual override) и альтернативные пути анализа. Такой подход ставит надежный анализ выше тотальных запретов, делая AI более надежным партнером в защите.

Часто задаваемые вопросы

Как скрипт может заставить AI отказаться от его анализа?

Он может содержать скрытый или отвлекающий текст с темами, которые активируют фильтры безопасности модели, заставляя систему отказаться от анализа или остановиться, не объяснив код.

Был ли сам скрипт для снятия отпечатков (fingerprinting) вредоносным?

Расследование, описанное в видео, выявило в основном стандартный скрипт для защиты от ботов и снятия отпечатков браузера. Его скрытый текст, по-видимому, был разработан для того, чтобы препятствовать анализу со стороны AI.

Может ли этот метод использоваться злоумышленниками?

Да. Злоумышленники могут размещать текст, вызывающий отказ, в составе вредоносного ПО или подозрительных файлов, чтобы нарушить работу сканеров безопасности на базе AI и процесс сортировки угроз.

Как команды безопасности могут снизить риск?

Используйте несколько методов анализа, сохраняйте проверку человеком, тестируйте инструменты на контенте, вызывающем отказ, и избегайте зависимости от одной модели или провайдера.

Found this useful? Share it.

For builders

Want Stork to write one of these about your product?

Send us a URL. We use the product, form a view, and publish what we actually think — in 8 languages, labeled Sponsored, with no copy approval on your side. That last part is what makes it worth quoting.

See how it works$199 · AI tools & software only

Для билдеров

Эта страница работает на чужой инструмент.

Её читают AI-агенты. На неё приходят покупатели. Она отвечает на восьми языках и через MCP. У вашего инструмента может быть такая же — в эфире за 24 часа.