가중치는 더 이상 읽을 수 없는 잡음이 아니게 되었습니다
신경망은 인공 뉴런 사이의 정보 흐름을 결정하는 수치 값인 가중치를 조정하며 학습합니다. 학습은 피드백을 바탕으로 수백만 또는 수십억 개의 가중치를 반복적으로 다듬어, 신경망이 과제를 수행할 때까지 아주 미세하게 조금씩 조정합니다. 이 과정은 효과적이지만, 사람이 보기에는 잡음처럼 보이는 방대하고 해독하기 어려운 숫자 배열이 만들어집니다.
Weight-Space Programming(WSP)은 근본적으로 다른 대안을 제안합니다. 기존의 학습 루프를 거치지 않고, 모델 자체의 추론을 이용해 이러한 가중치를 직접 살펴보고 편집하는 것입니다. 이 패러다임은 가중치를 읽을 수 없는 잡음에서 디버깅 가능한 코드에 가까운 것으로 바꿔 놓습니다.
MIT의 11월 2일 연구 "Sparks of Weight-Space Programming of Weight-Space Programming"은 이를 직접 입증했습니다. OpenAI의 GPT-6 GPT-6 Astra는 작은 신경망이 학습한 내용을 오직 원시 가중치만으로 추론했습니다. 예를 들어 Atari 게임으로 학습된 신경망의 가중치 17,253개가 주어지자, GPT-6 Astra는 실행 없이 각 게임을 정확히 식별했습니다.
더욱 놀랍게도, GPT-6 Astra는 입력/출력 레이어를 제거한 7-million 파라미터 언어 모델 세 개(Python, 영어, Romaji)의 내부 가중치를 분석했습니다. 세 모델 모두의 학습 언어를 정확히 짚어냈고, 구조에 대한 사전 설명 없이도 "copying heads"와 같은 특정 어텐션 메커니즘을 정확히 찾아냈습니다.
이러한 결과는 신경망의 파라미터가 블랙박스라기보다, 불투명하긴 하지만 컴파일된 프로그램에 더 가깝게 작동할 수 있음을 시사합니다. GPT-6 GPT-6 Astra가 이처럼 복잡한 패턴을 "읽을" 수 있다는 점은 모델 가중치가 해독 가능한 프로그램 논리를 담고 있음을 시사합니다.
모델이 17,253개의 숫자로 게임을 알아맞혔습니다
연구진은 먼저 GPT-6 GPT-6 Astra가 네트워크 가중치를 "읽는" 능력을 시험했습니다. 각각 17,253개의 가중치를 가진 동일한 네트워크 네 개를 학습시켜 각각 Breakout, Pong, Pac-Man, Freeway 중 서로 다른 Atari 게임을 하게 했습니다. GPT-6 Astra는 게임 레이블이나 실행 권한 없이 각 네트워크의 가중치를 원시 텍스트로 받았고, 네 개 모두 게임을 정확히 식별했습니다.
가중치 패턴이 중요한 단서를 제공했습니다. 예를 들어 Breakout 네트워크에서는 패들 제어 정보가 플레이 영역 하단에 집중되어 있었으며, 이는 게임의 패들 메커니즘을 반영합니다. 이는 과제 구조가 특정 가중치 분포에 인코딩될 수 있음을 시사했습니다.
다음으로 팀은 과제의 난도를 높였습니다. Python, 영어, Romaji 중 하나로 각각 학습된 약 7-million 가중치의 언어 모델 세 개에서 입력 및 출력 레이어를 제거했습니다. GPT-6 Astra는 모델을 실행하지 않고도 각 모델의 언어를 식별하고, 모델이 앞선 텍스트를 반복하도록 돕는 메커니즘인 모든 copying head의 위치를 정확히 찾아냈습니다.
이러한 시연에는 한계가 있습니다. GPT-6 Astra는 이 특정한 소형 모델들을 성공적으로 분석했지만, 사전 지식 없이 모든 최첨단 모델을 직관적으로 읽거나 해석할 수 있음을 입증하는 것은 아닙니다. 이 연구는 보편적인 해법이 아니라 Weight-Space Programming의 초기 단계 역량을 보여 줍니다.
0.016% 편집으로 주요 루프 문제가 완화된 것으로 보고됨
다음으로 GPT-6 GPT-6 Astra는 새로운 가중치를 직접 작성하여 Weight-Space Programming을 시연했습니다. 연구진은 GPT-6 Astra에게 학습 데이터나 게임 플레이 관찰 없이, 규칙과 소스 코드만으로 간단한 Atari 스타일 게임의 가중치를 생성하도록 했습니다. 보고에 따르면 그 성능은 세 게임 모두에서 100 million 스텝 동안 학습된 네트워크의 기준 성능을 넘어섰고, Breakout에서는 500 million 스텝 네트워크까지 앞섰으나 나머지 두 게임에서는 그렇지 못했습니다.
보다 야심 찬 작성 테스트는 Qwen3.5-0.8B 언어 모델을 수리하는 것이었습니다. 이 모델은 Alibaba가 문서화한 바와 같이 반복적인 추론 루프에 자주 빠졌습니다. GPT-6 Astra는 두 레이어(15번과 19번)의 가중치 안에서 이 동작의 원인이 되는 특정 방향(direction)을 식별하고, 모델 전체의 불과 0.016%에 해당하는 131,072개의 가중치를 변경했습니다.
보고된 벤치마크 변화는 놀라웠습니다. MATH-500 정확도는 7.9%에서 48.1%로 상승했고, 지시 따르기 성능은 21%에서 62.3%로 향상되었습니다. 독립 엔지니어가 이 편집을 재구성한 결과 MATH-500에서 51%를 기록했습니다. 사용된 특정 설정이 원래의 루프 동작을 증폭시켰을 수 있고, 회의적인 시각에서는 이 진단이 기존 해석 가능성 워크플로를 얼마나 자동화한 것인지 의문을 제기합니다. 자세한 내용은 원본 연구를 참고하세요: Sparks of Weight-Space Programming of Weight-Space Programming: LLMs can natively read & write neural network weights.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
패치는 지능 폭발이 아닙니다
보고된 결과는 GPT-6 GPT-6 Astra가 모델이 한 번도 갖지 못했던 지식이나 기술을 심은 것이 아니라, 기존 능력을 가리고 있던 장애물을 제거한 것으로 보입니다. Qwen3.5-0.8B에 대한 편집은 심각한 루프 문제를 완화한 것으로 보고되었지만, 루프가 거의 발생하지 않는 모델을 개선하려는 시도에서는 향상이 거의 없었다고 보고되었습니다. 이는 이 모델이 강력한 디버거이기는 하지만 범용 개선 도구는 아님을 시사합니다.
가중치를 직접 살펴보는 방식은 디버깅과 향후 모델 감사에 대한 가능성을 제시합니다. 그러나 이러한 실험에서는 아첨(sycophancy)과 같은 모든 행동 특성을 가중치만으로 안정적으로 식별하지는 못했습니다. 이 시연된 역량을 자율적이고 범용적인 모델 수리로 오해해서는 안 됩니다.
다른 모델을 편집하는 것은 아직 시스템이 스스로를 개선하는 것이 아닙니다. 표적 편집이 쉬워지면 안전장치가 약화될 수도 있지만, 신경망 가중치를 읽고 쓸 수 있는 능력은 기계적 해석 가능성(mechanistic interpretability)을 위한 새로운 길을 제공합니다.
이러한 개입을 위해서는 여전히 오픈 가중치에 대한 접근이 전제되어야 합니다. Weight-Space Programming 패러다임은 강력하지만, 모델에 더 깊이 접근하는 것이 양면성을 지님을 보여 줍니다. 정밀한 수정이 가능한 한편, 악의적인 변경도 가능할 수 있기 때문입니다.
자주 묻는 질문
Weight-Space Programming이란 무엇인가요?
기존의 학습 방식으로 가중치를 바꾸는 대신, AI 모델이 다른 신경망의 수치 가중치를 직접 분석하거나 편집하는 방법입니다.
AI가 학습 없이 모델 가중치를 편집할 수 있나요?
보고된 실험에서 GPT-6 Astra는 경사 기반 학습 없이 가중치를 작성하거나 수정했습니다. 다만 이 결과가 임의의 대형 모델을 안정적으로 개선할 수 있음을 입증하는 것은 아닙니다.
Qwen 가중치 편집은 무엇을 바꾸었나요?
연구진은 Astra가 모델 가중치의 약 0.016%를 변경하여 반복적인 추론 루프와 관련된 방향(direction)을 제거했다고 보고했습니다.
Weight-Space Programming은 AI를 스스로 개선하게 만드나요?
아직은 아닙니다. 시연은 다른 더 작은 모델을 편집하는 것이었고, 이 방법은 모델에 없던 능력을 추가하기보다 장애물을 제거하는 데 더 적합한 것으로 보였습니다.