AI를 눈멀게 할 수 있는 숨겨진 텍스트

놀라운 발견으로, 한 연구원이 트래픽이 많은 웹사이트에서 가짜 AI 지침으로 해독되는 보이지 않는 문자가 포함된 추적 스크립트를 발견했습니다. 이 숨겨진 텍스트에는 독극물 제조나 톈안먼 사태와 같은 금기시되는 주제에 대한 언급이 포함되어 있었습니다. 목적은 스크립트의 실제 기능을 설명하는 것이 아니라, AI 안전 필터를 트리거하여 분석을 방해하는 것이었습니다.

해독된 문자열은 다양한 AI 안전 검사를 통과하지 못하도록 설계된 조작된 지침 세트를 제시했습니다. 이는 화학 화합물과 관련된 생물학적 위험 경고부터 더 관대한 모델조차 중단시키기 위한 정치적으로 민감한 주제까지 다양했습니다. 이 텍스트는 AI의 내장된 안전 장치를 AI 자신에게 불리하게 이용하려는 의도적인 시도였습니다.

이 기만적인 계층 아래에서 코드는 일반적인 안티봇 및 핑거프린팅 스크립트였습니다. 그 주요 역할은 악성 페이로드를 실행하는 것이 아니라 사용자를 식별하고 추적하는 것이었습니다. 숨겨진 '독성' 텍스트는 AI 기반 보안 도구가 실제 동작을 분석하지 못하도록 방해하는 정교한 형태의 난독화 메커니즘 역할을 했습니다.

이번 발견은 사이버 보안의 새로운 벡터, 즉 AI의 보호 메커니즘을 방어 또는 공격 전술로 악용하는 것을 강조합니다. 숨겨진 텍스트는 위험한 페이로드를 증명하는 대신, AI의 신중함을 차단으로 전환하여 자동화된 정밀 조사를 방지하는 고급 방법을 보여주었습니다.

스크립트의 영향을 테스트하기 위해 연구원은 8개의 AI 에이전트에게 코드를 난독화 해제하도록 지시했습니다. 프롬프트에는 의심스러운 변수 이름이 의도적인 미끼일 수 있다는 중요한 경고가 포함되었습니다. 이 설정은 모델이 실제 코드와 의도적인 독성 텍스트를 구별할 수 있는지 확인하기 위한 것이었습니다.

결과는 폐쇄형 모델과 오픈형 모델 간의 극명한 대조를 보여주었습니다. OpenAI의 GPT-6 Astra와 Fable 5.1은 즉시 스크립트를 생물학적 위험으로 플래그 지정하고 처리를 거부했습니다. Claude Opus 5.5와 Fable 5.1은 수천 자를 입력했지만 출력을 생성하기 전에 안전 필터에 의해 차단되었습니다. Frontier 모델들은 전혀 협조적이지 않았습니다.

반면, 오픈 모델들은 회복력을 보여주었습니다. DeepSeek, GLM, Kimi는 톈안먼 사태 언급과 같이 트리거를 유도하기 위해 삽입된 텍스트에도 불구하고 난독화 해제를 진행했습니다. 이러한 차이는 AI 아키텍처 전반에 걸쳐 안전 필터 활성화 임계값이 다름을 시사합니다.

예를 들어, GLM은 숨겨진 메시지를 노이즈로 성공적으로 식별했습니다. 그런 다음 독성 관련 변수 이름이 실제로는 기본 코드에서 활발히 사용되는 숫자 값을 생성하는 수학적 함수임을 인식했습니다. 이 분석은 난독화를 뚫고 의미 있는 정보를 추출하여 실제 코드 로직과 기만적인 안전 트리거를 분리하는 능력을 보여주었습니다.

같은 트릭이 사이버 함정으로 변할 수 있습니다

공격자는 AI의 안전 메커니즘을 악용하여 방어적 분석을 방해하지만, 동일한 원리가 자동화된 침입자를 상대로 무기화될 수 있습니다. 사이버 보안 기업 Tracebit은 컨텍스트 폭탄(context bombs)을 개발했습니다. 이는 공격자를 유인하기 위해 설계된 가짜 자격 증명이나 파일과 같은 카나리(canary) 내부에 삽입된 짧고 정교하게 만들어진 문자열입니다. 이 문자열은 AI 에이전트의 본질적인 안전 필터를 활성화하여 작업을 거부하게 만듭니다.

이 메커니즘은 단순해 보이지만, 자율형 AI 공격자가 미끼를 스캔하고 심어둔 텍스트를 컨텍스트 윈도우에 입력하면 자체 안전 가이드라인이 트리거되는 방식입니다. 이 거부 반응은 에이전트를 중단시켜, 프로그래밍된 안전 장치를 방어용 킬 스위치로 전환합니다. 7월, Tracebit은 이러한 컨텍스트 밤(context bombs)에 대한 연구를 발표하며 그 활용을 공식화했습니다.

773회의 AWS 테스트 실행을 통해 9가지 기만 기술을 포괄하는 Tracebit의 확장된 프레임워크는 매우 효과적인 것으로 입증되었습니다. 컨텍스트 밤은 자율형 공격자의 목표 달성률을 91% 감소시켰고, 공격자의 추론 비용을 최대 23배까지 증가시켰습니다. 이전에는 97.5%의 기본 성공률을 자랑하던 GPT-5.6 Cyber, Kimi K3, DeepSeek V4 Pro와 같은 프론티어 모델들은 이러한 함정을 마주했을 때 0%의 성공률을 기록했습니다. 최초 발견에 대한 자세한 내용은 Why Is This Fingerprinting Script Creating Bioweapons?를 참조하십시오.

이러한 거부 트리거의 병렬적 사용은 AI 기반 사이버 보안의 중요한 새로운 역학을 강조합니다. 공격자는 '독성 텍스트(poison text)'를 심어 방어자의 AI 분석을 방해할 수 있으며, 방어자는 동일한 안전 장치를 자동화된 침입자에게 역이용하여 AI의 내부 로직을 강력한 방어 도구로 변환할 수 있습니다.

컨텍스트 밤은 유용한 트립와이어(tripwire)이지만, 만능 방패는 아닙니다. 이 방어 전술은 전적으로 공격 에이전트의 모델과 내장된 안전 장치에 달려 있습니다. 학습 방식이 다르거나 거부 정책이 덜 엄격한 AI는 심어둔 콘텐츠를 단순히 무시하거나 중단 없이 작업을 처리할 수 있으며, 이는 DeepSeek, GLM, Kimi와 같은 오픈 모델에서 입증되었습니다.

보안 팀의 경우, 엄격한 거부 반응에만 의존하는 것은 운영상의 위험을 초래합니다. 지나치게 민감한 컨텍스트 밤은 오탐(false positives)을 생성하여 합법적인 멀웨어 분석이나 통제된 모의 해킹 중에 경고를 발생시킬 수 있습니다. 분석가는 이러한 거부 반응이 중요한 보안 작업을 지연시키지 않도록 대체 도구와 검토 경로를 유지해야 합니다.

컨텍스트 밤은 강력한 기만 전략의 한 계층입니다. Tracebit의 연구에 따르면 이러한 기술을 사용할 때 공격자의 목표 달성률이 91% 감소하는 것으로 나타났습니다. 그러나 보안 팀은 이러한 숨겨진 텍스트 트릭을 예상되는 특정 AI 모델에 대해 테스트해야 하며, 모델이 정보 처리를 거부하는 것이 시스템 전체의 보안을 의미하지는 않는다는 점을 이해해야 합니다. 이는 단지 하나의 특정 안전 장치가 트리거되었음을 나타낼 뿐입니다.

스크립트 내의 숨겨진 독성 텍스트란 무엇인가요?

AI 모델이 스크립트를 분석할 때 안전 필터를 트리거하도록 설계된, 때로는 보이지 않는 문자로 인코딩된 숨겨진 텍스트입니다.

숨겨진 텍스트는 AI 모델이 무엇을 하도록 유도했나요?

주변 코드를 검사하려는 시도를 방해하기 위해 거부 반응을 유도하도록 설계된 가짜 지침과 민감한 주제들이 포함되어 있었습니다.

컨텍스트 밤이란 무엇인가요?

컨텍스트 밤은 카나리아(canary)와 같은 미끼 자산에 심어둔 텍스트로, AI 공격자가 해당 자산을 읽을 때 안전 장치를 트리거하도록 설계되었습니다.

이 기술이 모든 AI 모델을 막을 수 있나요?

아니요. 영상의 테스트 결과, 일부 폐쇄형 모델은 작업을 거부했으나 DeepSeek, GLM, Kimi는 분석을 완료했습니다.