Super Mario를 실행하는 LLM

영리한 도구 호출이 아닌, 컴퓨터#

새로운 구현인 Qwenputer는 32비트 RISC-V CPU를 Alibaba의 Qwen 3.5 4B 모델 가중치에 직접 내장합니다. 이 혁신적인 방식은 도구 호출이나 샌드박스 환경과 같은 기존 방식을 거치지 않고, 연산 전체를 모델의 순전파(forward pass) 안에서 수행합니다. CPU는 외부 유틸리티가 아니라 신경망의 파라미터 안에 말 그대로 인코딩되어 있습니다.

전용 컴파일러인 chipformer는 CPU의 회로 설명을 특정 어텐션 및 MLP 가중치로 변환합니다. 이 과정에서 11개의 컴파일된 레이어가 CPU에 할당되며, 이 레이어들은 Qwen의 기존 32개 레이어 앞에 추가됩니다. 특히 컴파일러가 모델의 파라미터를 직접 프로그래밍하므로 이 통합에는 추가 학습이 필요하지 않습니다.

즉, 명령어 실행은 모델의 순전파를 통해 이루어지며, 의도적으로 설계된 회로로 동작합니다. 이를 일반 LLM이 자발적으로 연산 능력을 갖게 되는 경우와 구분하는 것이 중요합니다. Qwenputer는 모델 아키텍처에 내장된 결정적이고 하드코딩된 CPU입니다. 공식 RISC-V 테스트를 통과했으며, 내부에서 C 및 MicroPython 바이너리를 실행합니다.

눈앞에 숨어 있던 메모리 기법#

모든 CPU의 핵심 과제는 메모리입니다. Qwenputer는 독창적인 해법으로, Qwen 3.5 4B의 어텐션 레이어 4개 중 3개에 있는 Gated DeltaNet 메커니즘을 용량이 고정된 RAM으로 활용합니다. 일반적으로 이 순환 상태는 서서히 감쇠하여 모델이 오래된 정보를 "잊게" 합니다.

그러나 유지 게이트(retention gate)를 1로 고정하면 저장된 값이 일반적인 감쇠 없이 무기한 유지됩니다. 업데이트 강도를 1로 설정하면 새로운 쓰기가 기존 데이터와 섞이지 않고 완전히 덮어씁니다. 또한 one-hot 키를 사용해 각 쓰기 작업을 상태 행렬의 정확한 행으로 보내므로, 정확하게 주소를 지정할 수 있는 메모리가 가능합니다.

이는 컨텍스트 길이에 따라 계속 커지는 트랜스포머의 KV 캐시와는 크게 대조됩니다. Qwenputer의 메모리는 유한하며 의도에 맞게 구성된 것으로, 대화 기억을 위한 무한한 저장소나 범용 파일 시스템이 아닙니다. 덕분에 Qwen의 11개 레이어에 걸쳐 내장된 32비트 RISC-V CPU가 전용 메모리에 접근할 수 있으며, 공식 riscv-tests를 통과하고 모델의 순전파 안에서 C와 MicroPython을 실행합니다.

CPU 테스트 통과에서 Mario 플레이까지#

Qwenputer의 RISC-V CPU는 rv32ui, rv32um, rv32uzba를 포함한 공식 riscv-tests 스위트를 통과하며 기능을 입증했습니다. 모델의 순전파 안에서 C 및 MicroPython 바이너리를 직접 성공적으로 실행하여 결정적인 실행 경로를 보여주었습니다. QEMU와 비교해 약 230,000건의 출력을 재생한 결과 불일치는 0건이었으며, 이는 컴파일된 CPU가 충실하게 작동함을 확인해 줍니다.

이 새로운 구성은 구체적인 성능 향상도 가져왔습니다. DeepMind의 대규모 곱셈 벤치마크 mul_big에서 Qwen 3.5 4B의 점수가 55%에서 97.5%로 올랐습니다. 이 향상은 내장된 CPU의 정밀한 산술 능력 덕분이며, LLM 고유의 추론 능력이 전반적으로 개선된 것은 아닙니다. 더 자세한 기술 내용은 프로젝트 저장소에서 확인할 수 있습니다. GitHub - divagr18/qwenputer: A computer, compiled into the weights of a language model.

이를 바탕으로 Nesformer 프로젝트는 Nintendo Entertainment System(NES)을 Qwen 3.5에 컴파일했습니다. NES의 6502 CPU, 2 KB RAM, 게임 카트리지 데이터까지 모델의 가중치에 직접 내장했습니다. 입력, 그래픽, 오디오, 인터럽트는 가벼운 호스트가 여전히 처리하지만, Nesformer는 느리긴 해도 Super Mario Bros.를 성공적으로 실행합니다. 프레임당 처리 시간은 1~6초이며, 이는 10초 분량의 게임 플레이에 약 25분의 추론이 필요하다는 뜻입니다.

진짜 성과는 프레임 속도가 아닙니다#

Nesformer가 보여주는 볼거리, 즉 LLM 안에서 Super Mario Bros.가 실행되는 모습은 균형 있게 봐야 합니다. 프레임당 렌더링에 약 1~6초가 걸립니다. 즉 불과 10초 분량의 게임 플레이에 약 25분의 연산이 필요하므로, 실시간 에뮬레이터로는 실용적이지 않습니다.

진정한 의의는 프레임 속도가 아니라 그 바탕에 있는 기술적 성취에 있습니다. 이 작업은 LLM의 내부 연산이 본래 모호하거나 학습에 의존하는 것이 아니라 결정적이고 정확할 수 있음을 보여줍니다. 정교하게 컴파일된 모델 가중치가 반복 가능한 연산을 수행하므로, 신경망을 불투명한 확률적 시스템으로 보는 통념에 의문을 제기합니다.

이는 정밀도에 민감한 AI 워크플로를 통합할 수 있는 길을 엽니다. 컴파일된 산술 블록이나 상태 머신 블록은 절대적인 정확성이 요구되는 다음과 같은 작업을 지원할 수 있습니다. - 암호학 - 과학 시뮬레이션 - 산업 제어 시스템

개념 증명 단계인 이 접근 방식은 외부 도구나 CPU를 대체하지 않습니다. 통합, 용량 확장, 속도, 검증 측면의 과제가 남아 있습니다. 그럼에도 향후 LLM이 학습된 능력과 함께 하드코딩된 연산 모듈을 내장하여, 모호한 추론과 정확한 실행이 모두 필요한 새로운 영역으로 활용 범위를 넓힐 수 있음을 강하게 시사합니다.