이야기를 바꾼 고양이와 자동차의 단서
수년간 Google의 InceptionV1 이미지 모델에 있는 뉴런 4E:55는 고양이 얼굴과 자동차 앞부분 모두에 반응하는 중첩(superposition)의 대표적인 사례로 꼽혔습니다. Distill 논문인 Zoom In: An Introduction to Circuits: An Introduction to Circuits에서 강조된 이 2020년의 관찰 결과는 신경망이 서로 관련 없는 개념을 단일 뉴런에 쑤셔 넣어 직접적인 해석 가능성을 불가능하게 만든다는 것을 확인해 주는 듯했습니다.
하지만 Zoom In: An Introduction to Circuits: An Introduction to Circuits의 공동 저자인 Nick Cammarata는 이제 수정된 해석을 제시합니다. 그는 뉴런 4E:55가 다의적(polysemantic)인 것이 아니라 V자 형태 감지기라고 주장합니다. 이 뉴런은 여우 주둥이, V자 모양의 불꽃, 소방선의 물줄기처럼 뾰족한 특징에 활성화되며, 둥근 모양은 활성화를 음수로 만듭니다. 고양이 얼굴과 자동차 앞부분 사이의 명백한 연관성은 개념적 중첩이 아니라 공유된 기하학적 특성에서 비롯된 것입니다.
이러한 재해석은 AI 해석 가능성의 근본적인 가정에 의문을 제기합니다. 연구자들이 공유된 시각적 특징을 관련 없는 개념으로 잘못 식별한다면, 네트워크의 불투명성을 과장할 위험이 있습니다. 뉴런 4E:55에 대한 이러한 구체적인 재평가는 이전에 이해할 수 없다고 여겨졌던 일부 뉴런이 사실은 단일하고 일관된 특징을 감지하는 단의적(monosemantic) 뉴런일 수 있음을 시사합니다.
이는 비록 유명하지만 단 하나의 사례에 대한 재해석일 뿐, 모든 뉴런이 즉시 읽기 쉽다는 보편적인 증명은 아닙니다. 그러나 이는 직접적인 해석 가능성에 대한 중요성을 높이며, 내재적 불투명성이라는 "AI 뉴런 신화"가 무너지고 있을지도 모른다는 점을 시사합니다.
중첩만이 유일한 설명은 아니다
수년간 지배적인 이론이었던 중첩(superposition)은 표현 능력이 제한된 모델이 여러 특징을 겹치는 방향으로 인코딩한다고 가정합니다. 이는 마치 모두가 동시에 말하는 혼잡한 방에서 개별 목소리를 구별하려는 것처럼, 개별 뉴런 구성 요소를 직접 해석하기 어렵게 만듭니다. 이러한 관점은 이러한 밀집되고 겹치는 활성화를 풀어내고 더 이해하기 쉬운 개별 특징을 복구하기 위해 설계된 모델인 희소 오토인코더(SAEs)의 개발을 촉진했습니다.
그러나 뉴런 행동에 대한 또 다른 설명인 재귀적 일반화(recursive generalization)는 중첩의 핵심 전제에 도전합니다. 2020년 Distill 논문 Zoom In: An Introduction to Circuits: An Introduction to Circuits의 공동 저자인 Nick Cammarata는 이제 뉴런이 무작위로 관련 없는 개념을 묶는 것이 아니라고 제안합니다. 대신 뉴런은 학습을 거치면서 단순한 패턴에서 관련 있는 용도로 기능을 확장하는데, 이는 마치 나무 가지가 더 작고 관련 있는 가지로 뻗어 나가는 것과 비슷합니다.
Cammarata는 처음에 "IY"를 감지했던 언어 모델 뉴런을 예로 들어 이를 설명합니다. 시간이 지나면서 이 뉴런은 "DIY"로, 결국 "IY"가 명시적으로 존재하지 않을 때도 전체 문구인 "do it yourself"로 일반화되었습니다. 이 설명은 예시일 뿐 공식적인 가설은 아니지만, 뉴런이 용량 제약 때문에 서로 다른 아이디어를 묶는 것이 아니라 논리적으로 연결된 방식으로 책임을 확장하며 의미론적 기울기를 따라 발달한다는 것을 시사합니다. 이러한 해석은 이전에 가정했던 것보다 훨씬 더 구조적이고 본질적으로 해석 가능한 네트워크를 의미합니다.
새로운 수치는 놀랍지만, 아직 예비 단계입니다
새로운 데이터는 이전의 해석 가능성 결과와 극명한 대조를 이룹니다. Anthropic의 2023년 논문 "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning"을 포함한 과거 연구들은 해석 가능한 언어 모델 뉴런의 비율이 매우 낮으며, 해석 가능성 점수의 중앙값이 14점 만점에 0점인 경우가 많다는 사실을 발견했습니다. 같은 해 OpenAI의 "automated interpretability" 프로젝트 역시 뉴런의 약 1.7%만이 해석 가능하다고 식별했습니다.
그러나 Goodfire의 예비 감사 결과는 Qwen 3 32B에 대해 극적으로 다른 수치를 보고합니다. 보고된 바에 따르면 뉴런 극의 약 90%가 단일한 주요 기능을 가지고 있으며, 약 7%는 밀접하게 관련된 두 가지 작업을 처리합니다. 분류되지 않은 뉴런은 2~4%에 불과합니다.
이미지 모델의 경우, Goodfire는 동일한 데이터로 동일한 크기에서 훈련된 최신 모델의 마지막 레이어에 있는 뉴런의 약 99%가 해석 가능했다고 보고합니다. 이는 InceptionV1의 마지막 레이어에는 직접적으로 읽을 수 있는 뉴런이 거의 없다고 시사했던 이전 추정치를 크게 수정하는 것입니다. 이 수치는 마지막 레이어에 국한된 것이며 모든 레이어나 아키텍처에 일반화되지는 않습니다.
이 놀라운 수치들은 동료 심사를 거친 기술 논문이 아닌 비공식 에세이와 기업 감사에서 비롯된 것입니다. 유망하기는 하지만, 이 결과가 학계의 결론에 미칠 영향은 엄격한 평가 방법, 포괄적인 모델 범위, 그리고 독립적인 재현에 달려 있습니다. 자세한 내용은 에세이 Neural Networks Are Already Clean - Goodfire를 참조하십시오.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
만약 이 주장이 사실이라면, 해석 가능성은 실용적인 영역으로 들어서게 됩니다.
Goodfire의 예비 연구 결과가 사실이라면, 해석 가능성 연구의 전환은 심오할 수 있습니다. 연구자들은 특징을 재구성하기 위해 sparse autoencoder와 같은 두 번째 모델을 주로 훈련하는 대신, 어떤 경우에는 native neurons를 직접 검사하고 추적할 수 있을 것입니다. 이는 간접적인 방법에 대한 의존도를 줄여 과정을 간소화할 것입니다.
이러한 가능성은 AI 안전 및 엔지니어링 분야로 직접 확장됩니다. 더 명확해진 신경 회로는 모델의 동작을 감사, 디버깅 또는 제어하기 훨씬 쉽게 만들 수 있습니다. 그러나 읽기 쉬운 뉴런만으로는 신뢰할 수 있는 제어나 정렬을 보장할 수 없으며, 시스템 수준 상호작용의 복잡성은 여전히 상당한 과제로 남아 있습니다.
과학계는 엄격한 검증을 기다리고 있습니다. Neel Nanda와 같은 회의론자들조차도 강력한 활성화에 대한 직관적인 설명이 superposition을 제거하는 것은 아니며, 특히 약한 활성화와 밀집된 지식 표현의 경우에는 더욱 그렇다고 경고합니다. 다음의 중요한 단계는 "already clean" 가설을 검증하기 위해 다양한 모델과 레이어에 걸쳐 엄격한 재현을 수행하는 것입니다.
자주 묻는 질문
신경망이 이미 깨끗하다(already clean)는 것은 무슨 의미인가요?
Nick Cammarata의 주장은 많은 개별 뉴런이 별도의 모델로 분리할 필요 없이 이해 가능한 기능을 가지고 있을 수 있다는 것입니다.
고양이-자동차(cat-and-car) 뉴런은 무엇을 감지하고 있었나요?
Cammarata는 해당 Inception 뉴런이 고양이 얼굴, 자동차 앞부분, 그리고 기타 뾰족한 형태에서 공유되는 V자형 기하학적 구조에 반응했다고 말합니다.
이것이 superposition을 반증하는 것인가요?
아니요. 해당 에세이는 일부 명백한 다의성(polysemanticity)이 잘못 해석되었을 수 있다고 주장하지만, 이 주장은 더 광범위한 테스트가 필요하며 superposition 자체를 배제하지는 않습니다.
sparse autoencoder는 더 이상 유용하지 않은가요?
그렇지 않습니다. 여전히 중요한 해석 가능성 도구로 남아 있으며, 해당 에세이는 직접적인 뉴런 분석만으로도 충분한 경우가 있을 수 있다는 가능성을 제기하는 것입니다.