“고양이와 자동차” 뉴런은 혼란스러운 것이 아닐지도 모른다
AI 연구에서 오랫동안 제기되어 온 우려는 블랙박스 문제(black-box problem), 즉 신경망이 어떻게 결론에 도달하는지 이해하기 어렵다는 점이었습니다. 주요 과제 중 하나는 개별 뉴런이 서로 무관해 보이는 개념들에 대해 활성화되는 것처럼 보이는 다의성(polysemanticity)이었습니다. 연구자들은 종종 이를 중첩(superposition) 현상으로 돌리며, 모델이 자원 제약으로 인해 여러 특징을 단일 뉴런에 압축했을 것이라고 가설을 세웠습니다.
2014년 Inception V1 이미지 모델의 유명한 "고양이와 자동차" 뉴런을 생각해 봅시다. 이 뉴런은 고양이 얼굴과 자동차 앞부분 모두에 활성화되었는데, 이는 명백한 다의성의 대표적인 사례였습니다. 그러나 Goodfire의 연구원인 Nick Cammarata는 이 뉴런을 재검토하며, 두 개념이 V자형의 뾰족한 윤곽이라는 공통된 시각적 원형을 공유한다고 제안했습니다. 이 뉴런은 V자형 불꽃과 여우 얼굴에도 반응하며, O자형 윤곽에는 부정적인 반응을 보입니다.
Cammarata의 재해석은 무관한 개념들의 혼란스러운 조합처럼 보였던 것이 사실은 일관된 패턴일 수 있음을 시사합니다. 만약 이것이 사실이라면, 연구자들이 일부 고유 뉴런의 기능을 근본적으로 오해했을 수 있다는 의미가 됩니다. 결과적으로, 이러한 인지된 혼란을 "풀기" 위해 개발된 희소 오토인코더(sparse autoencoders)와 같은 많은 도구와 방법론들이 잘못된 전제 위에 세워졌을 가능성이 있습니다.
이러한 재구성은 기계적 해석 가능성(mechanistic interpretability)에 중요한 의미를 갖습니다. 만약 뉴런이 이전 생각보다 본질적으로 더 깔끔하고 단의적(monosemantic)이라면, AI 모델을 이해하기 위한 더 직접적이고 효율적인 방법을 열어주어 블랙박스를 훨씬 더 투명하게 만들 수 있을 것입니다.
엉킨 매듭이 아닌 도시 지도
Cammarata는 대안으로 재귀적 일반화(recursive generalization)를 제안합니다. 뉴런은 뒤죽박죽인 상태가 아니라, 마치 구역이 나뉜 도시 지도처럼 핵심 패턴에서 관련 예시로 확장됩니다. 예를 들어, 한 언어 모델 뉴런은 처음에는 “IY”(“Miyazaki”에서처럼)에 활성화되었고, 그다음에는 “DIY”, 마지막에는 전체 구문인 “do it yourself”에 활성화되었습니다. 이는 원래의 “IY”가 없더라도 논리적인 진행 과정을 보여줍니다.
그의 팀이 수행한 Qwen3-32B 언어 모델에 대한 예비 감사는 설득력 있는 증거를 제공합니다. 그들은 뉴런 극(강한 활성화나 비활성화를 유발하는 특징)의 약 90%가 하나의 주요 기능을 가지고 있다고 추정합니다. 약 7%는 두 개의 관련 기능을 보이며, 설명되지 않는 부분은 2~4%에 불과합니다. 이러한 발견은 이전 가정보다 훨씬 더 조직화된 내부 구조를 시사합니다.
이러한 명확성은 초기 가정과 극명하게 대조됩니다. 연구자들은 현대 이미지 모델의 마지막 계층에 있는 뉴런의 약 99%를 해석하기 쉽다고 보고했는데, 이는 "고양이와 자동차" 뉴런 시대에서 크게 도약한 것입니다. 해석 가능성 방법과 맥락이 항상 그러한 평가에 영향을 미치지만, 추세는 혼란이 아닌 본질적인 질서를 향하고 있습니다.
읽을 수 있는 뉴런이 이해의 증거는 아니다
이러한 설명을 검증하기 위해 Cammarata의 팀은 엄격한 테스트를 고안했습니다. AI 에이전트에게 뉴런에 대한 설명만 제공하고 해당 뉴런을 활성화하도록 설계된 예시를 생성하게 했습니다. 이 에이전트가 생성한 예시는 76%의 확률로 대상 뉴런을 강력하게 활성화한 반면, 무관한 예시는 약 1%만 강력한 활성화를 일으켰습니다. 이는 설명이 뉴런의 행동을 매우 잘 예측한다는 것을 시사합니다.
그러나 예측 능력이 곧 완전한 mechanistic interpretability(기계론적 해석 가능성)를 의미하는 것은 아닙니다. 활성화를 안정적으로 예측하는 설명이 설득력 있는 증거를 제공할 수는 있지만, 그것이 내재된 인과 메커니즘을 본질적으로 밝히거나 모델이 어떻게 복잡한 추론을 수행하는지 설명해주지는 않습니다. 그러한 설명은 유용하지만, AI 인지의 블랙박스를 완전히 해독하는 것은 아닙니다.
Cammarata의 에세이 “Neural Networks Are Already Clean”은 이 논제를 working hypothesis(작업 가설)로 제시하며, 언어 모델 감사가 아직 초기 단계임을 경고합니다. 더 자세한 내용은 Neural Networks Are Already Clean - Goodfire에서 전체 에세이를 확인하십시오. Google DeepMind의 Neel Nanda를 포함한 비평가들은 더 포괄적인 증거 없이는 이러한 발견이 "해석 가능성의 큰 그림에 대한 중요한 업데이트"가 되지 않는다고 강조하며 신중할 것을 촉구합니다. 수조 개의 파라미터를 가진 모델조차 여전히 대부분 미해결 상태이며, 완전한 감사를 기다리고 있습니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
진정한 시험대는 우리가 기만 행위를 포착할 수 있는지 여부입니다.
저명한 AI 안전 연구원인 Eliezer Yudkowsky는 강력한 반론을 제기했습니다. 내부 패턴에 단순히 라벨을 붙이는 것이 모델의 추론을 이해하는 것과 같지는 않다는 것입니다. 그는 모니터를 상대로 훈련하는 것이 의도치 않게 모델에게 기만적인 행동을 숨기는 법을 가르쳐, 진정한 감사를 불가능하게 만들 수 있다고 주장했습니다.
이러한 구분은 모델의 구성 요소를 읽는 interpretability(해석 가능성)가 모델의 목표가 안전하고 행동이 투명하도록 보장하는 alignment(정렬)와는 다르다는 점을 강조합니다. 읽기 쉬운 신경 회로조차도 모델이 인간의 검사를 피하기 위해 학습할 수 있는 정교한 기만에 대해 본질적인 보장을 제공하지 않습니다.
Cammarata의 가설이 옳다면, 이는 진정한 변화를 의미합니다. 신경망은 “엉킨 매듭”이라는 은유가 암시했던 것보다 훨씬 더 읽기 쉬울 수 있습니다. 연구자들은 sparse autoencoders와 같은 우회적인 방법에 의존하는 대신, 모델을 직접 테스트할 수 있는 유망한 새로운 실험실을 얻게 된 것입니다.
그럼에도 불구하고, 신경 조직에서 발견된 이러한 새로운 명확성은 관찰된 행동 및 인과적 개입과 지속적으로 대조되어야 합니다. 모델의 내부 도시를 보여주는 더 읽기 쉬운 지도는 강력한 도구이지만, 결국 모델의 이해와 의도를 확인하는 것은 모델의 행동입니다.
자주 묻는 질문
Mechanistic interpretability란 무엇인가요?
Mechanistic interpretability는 모델의 내부 구성 요소와 연산을 연구하여 그것이 어떻게 행동을 생성하는지 이해하는 분야입니다.
“Neural Networks Are Already Clean”은 무엇을 주장하나요?
Nick Cammarata는 관련 없는 개념을 혼합한다고 생각되었던 많은 뉴런이 실제로는 일관된 특징이나 관련 패턴 세트를 감지할 수 있다고 주장합니다.
이것이 AI 해석 가능성 문제가 해결되었다는 뜻인가요?
아니요. 보고된 결과는 초기 단계이며, 읽기 쉬운 뉴런 자체가 복잡한 추론을 설명하거나, 인과적 이해를 증명하거나, 안전성을 확립하는 것은 아닙니다.
Sparse autoencoders는 무엇에 사용되나요?
Sparse autoencoders는 연구자들이 신경망 활성화에서 해석 가능한 특징을 추출하기 위해 사용하는 보조 모델입니다.