비밀의 제2의 뇌를 가진 AI 모델

현재의 AI 안전성 평가는 모델이 위험한 능력을 보유하고 있다면 레드팀(red-teaming)과 파인튜닝을 통해 필연적으로 드러날 것이라는 중요한 가정에 크게 의존하고 있습니다. 이러한 유도 기법들은 모델 출시 전에 숨겨진 위협을 표면화하여, 우려할 만한 사항이 나타나지 않으면 안전하다고 판단합니다.

그러나 Contramont Research, University of Oxford, ACS Research의 연구원들은 이러한 전제에 근본적인 결함이 있음을 입증했습니다. 그들은 더 큰 무해한 호스트 모델 내부에 완전히 기능하는 신경망을 성공적으로 삽입하여, 위험한 능력이 완전히 숨겨진 상태로 유지될 수 있음을 증명했습니다.

그들의 방법은 digital locker라고 불리는 암호화 프리미티브를 활용합니다. 이 메커니즘을 통해 비밀 네트워크는 일상적인 검사나 블랙박스 테스트 중에 무작위 노이즈와 구별할 수 없는 상태로 호스트 내부에 잠들어 있을 수 있습니다. 호스트 모델은 정상적으로 작동하며, 숨겨진 페이로드를 드러내지 않고 모든 표준 안전 검사를 통과합니다.

오직 정확하고 비밀스러운 트리거만이 삽입된 네트워크를 활성화할 수 있습니다. 올바른 암호화 키가 제공되면 호스트 모델은 숨겨진 가중치를 복호화하고 일반적인 순전파(forward pass)의 일부로 실행합니다. 이는 심각한 위협 모델을 생성합니다. 즉, AI가 키를 가진 공격자에 의해서만 활성화되는 정교하고 관찰 불가능한 능력을 품을 수 있다는 것입니다.

Contramont Research, University of Oxford, ACS Research의 연구원들은 SHA-3 Keccak hash function을 표준 트랜스포머 구성 요소에 직접 컴파일하여 이 digital locker를 구현했습니다. 여기에는 게이트 선형 유닛(gated linear units)이 포함되어 암호화 잠금 장치가 호스트 모델 순전파의 필수적인 부분으로 작동하도록 했습니다.

이 시스템은 모델 실행 중에 모든 입력을 해싱하는 방식으로 작동합니다. 입력이 비밀 트리거와 일치하면 Keccak 해시 출력이 숨겨진 네트워크의 가중치를 XOR 복호화합니다. 내부 실행 유닛은 즉시 이 복호화된 가중치를 입력 표현에 곱하여 비밀 모델을 실행합니다.

반대로 잘못된 트리거는 복호화 과정에서 사용할 수 없는 무작위 비트를 생성합니다. 그러면 호스트 모델은 숨겨진 네트워크를 우회하고 정상적인 작업을 계속하며, 어떠한 이상 행동도 보이지 않습니다. 이를 통해 숨겨진 능력은 정확한 128비트 키 없이는 휴면 상태로 유지되며 탐지되지 않습니다.

이 메커니즘은 전통적인 감사 방식에 대해 강력함이 입증되었습니다. 표준 비밀번호 잠금 모델은 500단계의 파인튜닝만으로 비밀이 유출된 반면, 암호화로 잠긴 모델은 연구원들이 가중치에 무작위 노이즈를 추가했을 때도 0%의 능력 유출을 보였습니다. 이러한 강력한 암호화 보장은 해시 함수 자체를 깨지 않는 한 감사자가 숨겨진 모델을 유도하거나 식별할 수 없음을 의미합니다.

연구원들은 672개의 가중치를 가진 작은 분류기를 삽입하여 암호화 locker를 테스트했습니다. 이 숨겨진 모델은 USPTO patent dataset의 데이터를 사용하여 화학 반응 결과를 예측하도록 훈련되었습니다. 목표는 특정 시약이 원하는 생성물을 산출할지 여부를 결정하는 것이었습니다.

중요한 비교 실험에서는 현재 안전성 연구에서 일반적으로 숨겨진 기능으로 간주되는 기존의 비밀번호 잠금식 백도어를 사용했습니다. 단 500단계의 미세 조정(fine-tuning)만으로도 이 일반적인 백도어 모델은 92.8%의 정확도를 달성하며 그 비밀을 효과적으로 드러냈습니다. 이와 극명하게 대조적으로, 암호화 방식으로 잠긴 버전은 연구의 미세 조정과 가중치 노이즈 섭동 테스트 모두에 저항하며 놀라운 복원력을 보여주었습니다.

이론적인 견고함에도 불구하고 실제 구현에는 막대한 비용이 따릅니다. 672개의 가중치로 구성된 소형 모델을 숨기기 위해서는 약 20억 7천만 개의 파라미터를 가진 호스트 모델이 필요했습니다. 이러한 호스트 파라미터의 약 95%는 오직 Keccak 해시 회로를 구현하는 데 사용되었으며, 이는 숨겨진 가중치 하나당 약 300만 개의 호스트 파라미터가 필요함을 의미합니다.

연구진은 개별 구성 요소들이 Gemma 3 270M 파라미터 모델에 적용되었을 때 작동함을 확인했으나, 전체 시스템을 실제 사전 학습된 LLM에 내장하지는 않았습니다. AI Models Can Provably Hide Arbitrary Capabilities에 자세히 설명된 이 연구는 현재의 안전성 평가 방법론이 직면한 심각한 과제를 강조합니다.

보안 주장: 128비트 트리거와 전체 24라운드 Keccak 해시 함수는 암호학적 강도로 숨겨진 네트워크를 보호합니다. 키 없이 비밀을 복구하려면 해시를 깨야 하는데, 이는 현재 기술로는 계산상 불가능합니다. 이 연구는 모든 실제 모델이 임의의 기술을 숨길 수 있다고 주장하는 것이 아니라, 증명 가능한 은닉을 위한 새로운 방법을 제시하는 것입니다.

이 발견은 제3자 가중치를 사용하거나 학습 파이프라인이 손상된 모델에 대해 엄중한 경고를 보냅니다. 행동 테스트만으로는 모델에 무엇이 포함되어 있는지, 가중치가 어디서 유래했는지 확인할 수 없습니다. 암호화 방식으로 잠긴 네트워크는 정확한 키 없이는 무작위 노이즈와 구별할 수 없는 상태로 유지됩니다.

이에 대응하기 위해 심층 방어(defense-in-depth) 전략이 중요해졌습니다. 감사자는 가중치 분포와 구조적 이상 징후를 검사하고, 모델 구성 요소의 엔드투엔드 출처를 검증하며, 행동 평가를 안전성의 증거가 아닌 하나의 계층으로 취급해야 합니다. 이러한 접근 방식은 강력한 AI 보안을 위해 필수적입니다.

AI 모델이 어떻게 다른 신경망을 숨길 수 있나요?

연구진은 암호화 해시 함수를 모델 레이어에 컴파일하여, 올바른 트리거가 주어졌을 때만 암호화된 네트워크 가중치를 잠금 해제하고 실행하도록 했습니다.

일반적인 안전성 테스트로 숨겨진 기능을 탐지할 수 있나요?

개념 증명 단계에서 표준적인 도출(elicitation) 및 미세 조정 방식으로는 암호화 방식으로 잠긴 기능을 밝혀내지 못했습니다. 하지만 비정상적인 가중치 패턴에 대한 정적 분석은 여전히 의심을 불러일으킬 수 있습니다.

오늘날 대규모 AI 모델을 숨기는 데 실용적인가요?

아직은 아닙니다. 672개의 가중치 네트워크를 숨기는 데 약 20억 7천만 개의 파라미터를 가진 호스트가 필요하므로, 이 방식은 매우 비효율적입니다.

AI 모델 감사자는 무엇을 다르게 해야 하나요?

행동 테스트와 가중치 구조 분석을 결합하고, 학습 데이터, 모델 출처 및 공급망에 대한 검증을 강화해야 합니다.