학습 없이 적용된 AI 패치
Rikiya Takehi, Jayden Teoh, Alex Zhang을 포함한 MIT Computer Science and Artificial Intelligence Laboratory(CSAIL)의 연구진이 AI 모델을 수정하는 새로운 방법을 공개했습니다. 논문 “Sparks of Weight-Space Programming”은 최첨단 AI 모델이 기존의 경사 기반 학습 없이 다른 모델의 동작을 직접 진단하고 패치한 과정을 설명합니다.
이번 혁신의 핵심은 신경망 학습 과정에서 얻어지는 수치 파라미터인 가중치(weights)를 AI가 해석하고 편집하는 전례 없는 능력입니다. 사람이 읽을 수 있는 소스 코드와 달리, 수백만 개에 이르는 이 숫자들은 일반적으로 무작위처럼 보이며 개발자조차 의미를 알기 어렵습니다. 이를 검사하거나 직접 편집하는 일은 오랫동안 달성하기 어려운 능력이었습니다.
예를 들어 GPT-6 Astra에 더 작은 모델인 Qwen 3.5-0.8B의 원시 가중치가 주어졌습니다. Astra는 병리적인 반복 추론 루프라는 특정 문제를 진단했고, Qwen의 800 million개 가중치 중 단 0.016%만 직접 변경했습니다. 이 정밀한 개입으로 Qwen의 성능이 크게 향상되었습니다.
- MATH-500 벤치마크: 7.9%에서 48.1%로 (약 6배 향상)
- GSM8K 벤치마크: 13.8%에서 67.1%로
- IFEval(지시 따르기): 21.0%에서 62.3%로
이러한 직접적인 가중치 공간 프로그래밍은 연산 부담이 큰 재학습 과정을 거치지 않으며, AI 개발과 디버깅의 새로운 패러다임을 제시합니다. 다른 AI의 내부 파라미터를 편집 가능한 코드처럼 다룰 수 있다는 점은 AI 메타 능력의 중대한 도약을 의미합니다.
아주 작은 편집, 놀라운 벤치마크 상승
MIT 연구진은 반복적인 추론 루프에 빠지는 경향이 문서로 확인된 800-million 파라미터 모델 Qwen 3.5-0.8B를 대상으로 삼았습니다. 연구진은 내부 상태를 분석해 이 병리적 동작의 원인을 모델의 15번째와 19번째 레이어와 관련된 특정 패턴으로 추적했습니다.
이를 바로잡기 위해 연구진은 최첨단 AI를 사용해 Qwen 모델을 직접 편집했습니다. 이 외과적 개입은 131,072개의 파라미터만 수정했으며, 이는 모델 전체 가중치의 극히 일부인 0.016%에 해당합니다. 이 변경은 재학습이 아니라 가중치 공간에서 이루어진 정밀하고 표적화된 조정이었습니다.
여러 벤치마크에서 효과는 즉각적이고 극적이었습니다.
- MATH-500: 7.9%에서 48.1%로 상승
- GSM8K: 13.8%에서 67.1%로 상승
- IFEval: 21.0%에서 62.3%로 3배 상승
이처럼 큰 향상은 패치가 새로운 수학 지식을 주입한 것이 아니라 병목을 제거하여 기존 능력을 끌어냈음을 시사합니다. 특히 반복 루프 문제가 없는 모델에 유사한 시도를 했을 때는 향상이 미미했으며, 이는 해당 편집이 Qwen 3.5-0.8B에서 확인된 특정 병리 현상을 해결했다는 점을 뒷받침합니다. 이는 한 AI가 다른 AI의 내부 결함을 진단하고 직접 바로잡는 새로운 형태의 AI 신경외과 수술을 보여 줍니다.
가중치를 읽는 것은 마음을 읽는 것이 아닙니다
연구진은 Qwen 3.5-0.8B 수정 외에도 가중치 공간 프로그래밍의 더 폭넓은 가능성을 탐구했습니다. 약 17,000개의 가중치로 이루어진 소형 게임 플레이 네트워크를 원시 파라미터만으로 분석했다고 하며, AI는 각 네트워크가 어떤 Atari 게임용으로 학습되었는지(예: Breakout, Pong, Pac-Man)를 높은 확신으로 추론했고, Freeway에 해당하는 네트워크를 Frogger로 판단하기도 했습니다.
그 밖의 실험에는 AI가 단순한 게임 에이전트의 가중치를 직접 작성했고, 이 에이전트가 Proximal Policy Optimization(PPO)으로 100 million 스텝 동안 학습한 에이전트보다 더 나은 성능을 보였다는 보고도 있습니다. 이러한 시연은 원시 가중치로부터 작동하는 네트워크를 해석하고 구성하는 놀라운 능력을 보여 주지만, Qwen 개입은 더 복잡한 과정이었습니다. 이는 가중치를 직접 "마음 읽기"하듯 파악한 것이 아니라, 외부 도구와 테스트 문제를 활용한 반복적인 검사를 거친 것이었습니다.
중요한 점은 연구진이 한계도 보고했다는 것입니다. 어텐션 메커니즘에 접근하지 않고 모델 가중치에서 "정직성"이나 "아첨(sycophancy)"을 식별하려는 시도는 성공하지 못했습니다. 이는 내부 회로를 해석하는 일이 여전히 어려운 과제이며, 현재의 해석은 아직 검증해야 할 가설임을 시사합니다. 이 연구 결과를 더 자세히 알아보려면 논문 Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights를 참고하십시오. 이 연구는 가중치 공간 프로그래밍이 의미 있는 성과이기는 하나, AI의 인지 과정을 완전히 들여다보는 창은 아직 아니라는 점을 보여 줍니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
유용한 새 도구이지만 재귀적 자기 개선은 아닙니다
이러한 가중치 공간 프로그래밍의 실질적인 시사점은 크며, AI 개발에 패러다임 전환을 가져올 가능성이 있습니다. 최첨단 모델이 고급 디버깅 도우미로서, 많은 자원이 드는 파인튜닝 파이프라인 없이도 더 작은 오픈 모델의 특정 결함을 찾아 패치할 수 있습니다. 이를 통해 목표를 정한 개입이 가능해져 상당한 연산 비용과 시간을 절감할 수 있습니다.
그러나 연구진은 현재의 성과를 과대평가하지 말아야 한다고 경고합니다. 이는 고급 머신러닝 엔지니어링과 표적 어블레이션(ablation)의 인상적인 성과이지만, 모델이 자신의 복잡한 파라미터 공간을 완전히 이해하거나 다시 쓰는 것과는 같지 않습니다. 수정된 가중치의 비율이 작다는 점(Qwen 3.5-0.8B의 경우 0.016%)은 포괄적인 자기 재구성이 아니라 집중된 개입임을 보여 줍니다.
더 폭넓은 AI 자기 개선이라는 주장을 뒷받침하려면 향후 연구에서 다음을 입증해야 합니다.
- 다양한 모델 계열에 걸친 독립적이고 표준화된 평가
- 일관된 성능 향상을 보이는 재현 가능한 결과
- 다른 능력을 의도치 않게 손상시키지 않으면서 편집이 여러 작업에 걸쳐 일반화된다는 근거
이러한 엄밀한 검증을 거쳐야 강력한 새 도구와 재귀적 자기 개선을 향한 추측성 도약을 구분할 수 있습니다.
자주 묻는 질문
가중치 공간 프로그래밍(weight-space programming)이란 무엇인가요?
언어 모델을 사용해 다른 신경망의 수치 가중치를 검사하거나 직접 편집하는 방식을 제안한 개념입니다.
보고된 편집은 Qwen을 처음부터 학습시킨 것인가요?
아니요. 보고된 개입은 반복적인 추론 루프를 해결하기 위해 Qwen 가중치의 극히 일부만 변경한 것이며, 경사 하강법이나 재학습은 사용하지 않았습니다.
이는 AI가 스스로를 개선할 수 있다는 뜻인가요?
아직은 아닙니다. 보고된 연구는 강력한 모델이 훨씬 작은 모델을 편집한 사례로, 모델이 최첨단 규모의 자신의 가중치를 안정적으로 개선하는 것과는 다릅니다.
가중치 공간 프로그래밍이 모델 학습을 대체할 수 있나요?
현재 근거로는 그렇게 볼 수 없습니다. 기존 모델의 특정 문제를 보완하는 데는 도움이 될 수 있지만, 모델이 아직 갖추지 못한 능력을 반드시 추가할 수 있는 것은 아닙니다.