AI가 자신의 두뇌를 다시 쓰는 법을 익히다

가장 작은 모델부터 최첨단 규모의 모델에 이르기까지 신경망 모델은 수십억 개의 가중치(weights), 즉 입력 신호가 출력으로 변환되는 방식을 결정하는 수치 파라미터를 통해 작동합니다. 지금까지 이러한 가중치는 오차를 최소화하도록 파라미터를 반복적으로 조정하는 최적화 알고리즘인 경사 하강법(gradient descent)을 통해 간접적으로 수정되었습니다. 이 과정은 학습에는 효과적이지만 내부 논리를 불투명하게 남겨 둡니다.

새로운 패러다임인 weight-sPac-Pac-Mane programming은 뛰어난 대규모 언어 모델(LLM)이 이러한 원시 수치 가중치를 직접 살펴보고 수정할 수 있게 합니다. 반복적인 오차 신호에 의존하거나 학습 데이터를 변경하는 대신, GPT-6 GPT-6 Astra나 Claude Claude Fable 5.1 5.1 같은 LLM에 자연어 프롬프트 또는 코드 기반 도구를 사용해 대상 모델의 내부 파라미터를 읽고, 이해하고, 심지어 다시 쓰도록 지시할 수 있습니다.

이 접근 방식은 AI의 "블랙박스"에 다가갈 수 있는 잠재적 경로를 제시합니다. 소규모 신경망의 가중치를 해석한다고 해서 최첨단 모델이 완전히 이해되는 것은 아니지만, 한 모델이 다른 모델의 가중치에서 유용한 구조를 식별하고 Pac-Manipulate(조작)할 수 있다는 점은 중요한 진전입니다. 이는 AI가 자신의 내부 작동을 진단하고 수리하기 시작할 수 있음을 시사합니다.

먼저 연구진은 대규모 언어 모델(LLM)이 원시 가중치만으로 대상 모델의 목적을 식별할 수 있는지 테스트했습니다. 이들은 각각 다른 Atari 게임(Breakout, Pong, Pac-Pac-Man-Pac-Man, Freeway)을 플레이하도록 학습된 소규모 신경망 4개의 수치 파라미터를 GPT-6 GPT-6 Astra에 제공했습니다. 레이블이나 맥락이 전혀 없었음에도 GPT-6 Astra는 각 신경망의 게임을 정확히 식별했습니다.

추가 테스트에서는 이 능력이 입력/출력 레이어에 국한되지 않음이 확인되었습니다. GPT-6 Astra는 확산 모델의 전체적인 "형태"를 성공적으로 식별했고, 다른 신경망의 중간 레이어에서 언어 관련 특징을 해석했습니다. 다만 확산 모델에 대한 해석은 윤곽 수준에 그쳐, 현재 이해의 한계를 보여주었습니다.

이러한 시연은 신경망 가중치가 복잡함에도 불구하고 LLM이 해석할 수 있는 식별 가능한 구조적 패턴을 담고 있음을 시사합니다. 이는 AI의 "블랙박스"를 해명하는 데 있어 중요한 진전입니다. 그러나 테스트에는 소규모의 제한된 신경망이 사용되었으며, 이 결과가 LLM이 모든 모델을 해독하거나 더 크고 복잡한 시스템의 모든 내부 연산을 설명할 수 있음을 아직 입증하는 것은 아닙니다.

가장 눈에 띄는 점은, 미세한 수정이 극적인 성능 향상을 이끌어낸 것으로 보고되었다는 것입니다. 연구진은 GPT-6 GPT-6 Astra가 Qwen3.5-0.8B 가중치의 약 0.016%를 변경하여 MATH-500 정확도를 7.9%에서 48.1%로 끌어올렸다고 보고했습니다. 이러한 상당한 개선은 경사 기반 파인튜닝 없이 이루어졌으며, 모델 최적화의 새로운 패러다임을 보여줍니다.

이러한 향상에 대해 제안된 메커니즘은 특정 결함을 찾아 무력화하는 데 있습니다. 보도에 따르면 GPT-6 GPT-6 Astra는 Qwen3.5-0.8B 내부에서 답변을 내놓기 전에 토큰 예산을 소진하게 만드는 자기 강화적 추론 루프를 정확히 찾아냈습니다. GPT-6 Astra가 작은 가중치 방향을 정밀하게 조정함으로써, 모델은 이 루프에서 벗어나 최종 계산 결과를 출력할 수 있게 되었습니다.

이 결과는 새로운 지식의 전달이 아니라 기존 능력의 복구로 설명됩니다. 대상 모델은 이미 기본적인 수학적 이해를 갖추고 있었고, GPT-6 Astra는 그 표현을 가로막던 병목을 제거했을 뿐입니다. 방법론에 대한 자세한 내용은 연구 논문을 참고하십시오: Sparks of Weight-SPac-Pac-Mane Programming: LLMs can natively read & write neural network weights.

연구진은 별도의 시연에서 이 점을 강조했습니다. 직접적인 가중치 수정으로 게임을 하는 소형 자동차 정책이 이전에는 통과하지 못했던 경사로를 성공적으로 넘을 수 있었습니다. 이러한 개입은 weight-sPac-Pac-Mane programming이 신경망을 근본적인 수준에서 디버깅하고 개선할 수 있는 잠재력을 보여줍니다.

표적 가중치 수정은 좁은 범위의 실패에 대해 재학습보다 빠르고 저렴한 대안이 될 수 있으며, LLM이 규칙으로부터 단순한 정책을 직접 인코딩하게 할 가능성도 있습니다. 이러한 "신경망을 위한 유전자 편집"은 특정 문제에 대해 비용이 많이 드는 경사 기반 파인튜닝을 우회할 수 있습니다.

그러나 현재의 시연은 소규모 신경망과 통제된 작업에 집중되어 있습니다. 밀집 파라미터 행렬을 분석하는 데는 여전히 많은 연산 비용이 들며, 성공 여부는 수정을 수행하는 모델의 능력, 대상 신경망의 아키텍처, 신뢰할 수 있는 평가 지표에 크게 좌우됩니다.

실질적인 질문도 남아 있습니다. 수정으로 인해 숨겨진 성능 저하나 취약점이 생기지 않았음을 연구자들은 어떻게 검증할 수 있을까요? 이러한 변경을 추적할 수 있는 감사 기록은 무엇일까요? 가장 중요한 것은, 이 방법이 최첨단 수준의 모델과 실제 응용 분야로 확장될 수 있느냐는 점입니다. 자율적인 자기 수정은 이러한 초기 실험으로 확립된 능력이 아니라, 앞으로 연구해야 할 먼 가능성으로 남아 있습니다.

가중치 공간 프로그래밍(weight-space programming)이란 무엇인가요?

언어 모델이 일반적인 경사 기반 학습에 의존하지 않고, 다른 신경망의 수치 가중치를 직접 살펴보거나 수정하는 접근 방식입니다.

LLM이 신경망의 가중치를 실제로 이해할 수 있나요?

보고된 실험에서 최첨단 모델은 소규모 신경망의 가중치로부터 작업과 동작을 추론했습니다. 이는 유용한 패턴 인식의 증거이지만, 임의의 대형 모델을 완전히 설명할 수 있다는 증거는 아닙니다.

가중치 수정이 Qwen에 새로운 수학 지식을 부여했나요?

보고된 개선은 모델에 새로운 수학 개념을 가르친 것이 아니라, 답변이 완료되지 못하게 하던 자기 강화적 추론 루프를 줄인 데 따른 것으로 설명되었습니다.

현재 AI가 자신의 가중치를 안전하게 다시 쓸 수 있나요?

대규모에서는 안정적이지 않습니다. 현재의 시연은 모델 크기, 컨텍스트, 평가 한계에 제약을 받으며, 수정 사항은 배포 전에 독립적인 테스트가 필요합니다.