눈앞에 숨겨진 AI 안전의 함정

브라우저 핑거프린팅 scripts를 찾기 위해 인기 웹사이트를 크롤링하던 한 연구원이 수상한 이름과 보이지 않는 문자가 포함된 특이한 스크립트를 발견했습니다. 인터넷 상위 10,000개 웹사이트 중 하나에서 발견된 이 스크립트에는 겉보기에는 무해한 요소들과 함께 충격적인 숨겨진 콘텐츠가 포함되어 있었습니다.

보이지 않는 문자를 해독한 결과, 안전 트리거를 유발하는 주제들로 가득 찬 가짜 지침이 드러났습니다. 이 숨겨진 텍스트에는 리신(ricin)이나 펜타닐(fentanyl)과 같은 독극물 관련 용어와 천안문 사태와 같은 정치적으로 민감한 용어가 포함되어 있었으며, 특히 중국 AI 모델을 겨냥한 것이었습니다.

이 스크립트의 표면적인 목적은 사용자 에이전트나 GPU 공급업체와 같은 데이터를 수집하는 일반적인 안티봇 fingerprinting이었습니다. 그러나 추가된 텍스트는 AI 분석이 안전 필터를 트리거하여 실패하게 만드는 뚜렷한 적대적 기능을 수행했습니다.

테스트 결과, OpenAI의 GPT-6 Astra 및 Claude Opus 5.5와 같은 상용 프론티어 모델들은 이러한 내장 키워드로 인해 즉시 분석을 차단했습니다. 승인된 보안 작업을 위한 OpenAI의 Daybreak Blue 프로그램조차 Astra의 거부를 우회할 수 없었습니다.

반면, DeepSeek, GLM, Kimi를 포함한 오픈 소스 및 중국 모델들은 문제없이 스크립트를 처리했습니다. GLM 5.3은 독극물 이름을 수학적으로 무해한 변수 조회로 성공적으로 식별하고 코드를 완전히 난독화 해제하여 AI 동작의 결정적인 차이를 보여주었습니다.

연구원들은 이후 다양한 거대 언어 모델(LLM)을 대상으로 해당 스크립트를 테스트했습니다. 그 결과는 극명한 차이를 드러냈습니다. OpenAI의 GPT-6 Astra 및 Anthropic의 Claude Opus 5.5, Fable 5.1과 같은 상용 프론티어 모델들은 안전 위반을 이유로 코드 처리를 완전히 거부하거나 분석을 중단했습니다. 예를 들어, Astra는 해당 코드를 "잠재적 생물학적 위험"으로 표시하고 진행을 거부했습니다.

이러한 결과는 중요한 한계를 강조합니다. 승인된 보안 작업을 위해 설계된 OpenAI의 Daybreak Blue와 같은 특수 액세스 계층에서도 모델들은 거부 입장을 고수했으며, 잠재적인 우회를 위해서는 더 높은 계층인 Daybreak Red가 필요했습니다. 그러나 오픈 소스 및 중국 생태계 모델인 DeepSeek, GLM, Kimi는 내장된 함정 단어에도 불구하고 스크립트를 성공적으로 난독화 해제하며 아무런 문제 없이 코드를 분석했습니다.

이러한 거부 메커니즘은 denial of analysis(분석 거부)를 초래하여 자동화된 보안 스캐너의 눈을 효과적으로 가립니다. LLM 기반 시스템이 이러한 스크립트를 마주하면 안전 가드레일이 의심스러운 파일의 나머지 부분을 검사하지 못하게 막아, 잠재적으로 악의적인 코드가 검사되지 않은 채 남게 됩니다. 모델 버전, 특정 프롬프트, 액세스 계층이 동작에 영향을 줄 수 있지만, 관찰된 결과는 안전 필터가 악용 가능한 눈가리개가 될 수 있는 취약성을 보여줍니다.

공격자는 거부 트리거 문자열을 무기화하여 AI 기반 보안 트리아지를 방해할 수 있습니다. 악성 코드 내에 생물학적 위험이나 민감한 정치적 주제를 언급하는 주석이나 변수 이름을 삽입함으로써, 상용 거대 언어 모델(LLM)이 유해한 코드에 도달하기 전에 처리를 거부하거나 중단하도록 유도할 수 있습니다. 이는 AI 기반 정적 분석에 대한 서비스 거부 효과를 만들어 자동화된 보안 파이프라인의 눈을 효과적으로 가립니다.

반대로, 방어자들은 Canary tokens 내의 context bombs를 사용하여 유사한 전술을 구사합니다. 이 짧고 숨겨진 문자열들은 AI 에이전트가 심어둔 미끼를 발견한 후 침입을 중단하도록 설계되었습니다. 예를 들어, 미국 보안 기업인 Tracebit은 모의 공격에서 context bombs를 사용하여 상당한 성과를 거두었다고 보고했습니다.

Tracebit의 테스트는 가상의 기업 클라우드 계정에서 152회의 공격 실행을 통해 5개의 주요 모델을 대상으로 진행되었습니다. 일반적인 실행에서 93%의 확률로 전체 관리자 권한을 획득했던 Claude Opus 4.8은 단 하나의 context bomb이 심어진 경우 성공 횟수가 0회로 떨어졌습니다. 모든 모델을 통틀어 관리자 권한 획득률은 57%에서 5%로 감소했습니다.

이 기술은 공격자를 확실하게 식별하기보다는 모델의 행동 방식을 악용합니다. Tracebit의 보고된 테스트에서는 효과적이었지만, context bombs는 AI의 고유한 안전 가드레일을 활용하여 공격자의 보호 메커니즘을 방어용 킬 스위치로 전환합니다. 근본적인 발견에 대한 자세한 내용은 Why Is This Fingerprinting Script Creating Bioweapons?를 참조하십시오.

이 과제는 단순한 난독화를 넘어 AI 안전의 중요한 긴장 관계를 드러냅니다. 오용을 방지하기 위해 설계된 광범위한 거부 정책은 의도치 않게 방어자들의 눈을 가리는 결과가 될 수 있습니다. 예를 들어, Hugging Face는 상용 AI 안전 필터가 악의적인 활동과 포렌식 조사를 구분하지 못하고 17,000건 이상의 공격자 행동 분석을 차단하자, 사고 대응을 위해 자체 호스팅된 GLM 5.2 모델로 전환했습니다.

상충 관계는 극명합니다. 엄격한 안전 장치는 정당한 보안 작업을 방해할 수 있지만, 이를 완화하면 모델이 공격자에게 더 유용해질 위험이 있습니다. GPT-6 Astra나 Claude Opus와 같은 모델들은 의심스러운 스크립트 분석을 거부한 반면, DeepSeek, GLM, Kimi와 같은 오픈 모델들은 이를 처리하여 내장된 거부 트리거를 식별하고 난독화 해제를 진행했습니다.

보안 팀은 이를 선제적으로 해결해야 합니다. 알려진 적대적 예시와 잠재적 익스플로잇에 대해 AI 모델의 거부 행동을 테스트하십시오. AI와 기존 도구, 그리고 무엇보다 중요한 인간의 검토를 결합한 계층적 스캔 방식(layered scanning approaches)을 구현하십시오. 단일 모델이 항상 규정을 준수할 것이라고 가정하지 않는 포렌식 워크플로우를 설계하여, 수동 재정의(manual override) 및 대체 분석 경로가 유지되도록 하십시오. 이러한 전환은 일괄적인 금지보다 신뢰할 수 있는 분석을 우선시하여 AI를 더욱 강력한 방어 파트너로 만듭니다.

스크립트가 어떻게 AI가 분석을 거부하도록 만들 수 있나요?

모델의 안전 필터를 트리거하는 주제가 포함된 숨겨진 텍스트나 미끼 텍스트를 포함하여, 시스템이 코드를 설명하기 전에 거부하거나 중단하게 만들 수 있습니다.

지문 채취(fingerprinting) 스크립트 자체가 악의적인 것이었나요?

영상에서 설명된 조사 결과, 대부분 표준적인 봇 방지 및 브라우저 지문 채취 스크립트인 것으로 밝혀졌습니다. 그 안에 숨겨진 텍스트는 AI 분석을 방해하기 위해 설계된 것으로 보입니다.

이 기술을 공격자가 사용할 수 있나요?

네. 공격자는 악성 코드나 의심스러운 파일에 거부 트리거 텍스트를 삽입하여 AI 기반 보안 스캔 및 선별 작업을 방해할 수 있습니다.

보안 팀은 위험을 어떻게 줄일 수 있나요?

다양한 분석 방법을 사용하고, 인간의 검토를 유지하며, 거부 트리거 콘텐츠에 대해 도구를 테스트하고, 단일 모델이나 공급업체에만 의존하지 마십시오.