Super Marioを実行するLLM

巧妙なツール呼び出しではなく、コンピューターそのもの#

新たな実装であるQwenputerは、32ビットのRISC-V CPUをAlibabaのQwen 3.5 4Bモデルの重みに直接組み込みます。この革新的なアプローチは、ツール呼び出しやサンドボックス環境といった従来の手法を介さず、計算をすべてモデルのフォワードパス内で実行します。CPUは外部のユーティリティではなく、文字どおりニューラルネットワークのパラメーターの中にエンコードされています。

専用コンパイラーのchipformerが、CPUの回路記述を特定のアテンションとMLPの重みに変換します。この処理により、CPUに11層のコンパイル済みレイヤーが割り当てられ、Qwen本来の32層の前段に追加されます。重要な点として、コンパイラーがモデルのパラメーターを直接プログラムするため、この統合に追加の学習は不要です。

つまり、命令の実行はモデルのフォワードパスを通じて行われ、意図的に設計された回路として動作します。これは、通常のLLMが自然に計算能力を獲得する場合とは区別する必要があります。Qwenputerは、モデルのアーキテクチャに組み込まれた、決定論的でハードコードされたCPUです。公式のRISC-Vテストに合格し、CないしMicroPythonのバイナリを内部で実行します。

一見して分からないメモリの工夫#

あらゆるCPUにとって、メモリは中心的な課題です。Qwenputerの独創的な解決策は、Qwen 3.5 4Bの4層のアテンションのうち3層に見られるGated DeltaNetの仕組みを転用し、固定容量のRAMとして機能させるというものです。通常、このリカレント状態は徐々に減衰し、モデルが古い情報を「忘れる」ようになっています。

しかし、保持ゲートを1に固定することで、保存された値は通常の減衰に逆らって無期限に保持されます。更新強度を1に設定すると、新しい書き込みは既存のデータと混ざることなく、完全に上書きします。さらに、ワンホットキーを使うことで、各書き込み操作が状態行列内の特定の行に振り向けられ、正確にアドレス指定できるメモリが実現します。

これは、コンテキスト長に応じて増大し続けるTransformerのKVキャッシュとは対照的です。Qwenputerのメモリは有限で、意図的に構成されたものであり、会話の記憶のための無限の保存領域でも、汎用のファイルシステムでもありません。これにより、Qwenの11層にまたがって組み込まれた32ビットのRISC-V CPUは専用のメモリにアクセスでき、公式のriscv-testsに合格し、モデルのフォワードパス内でCとMicroPythonを実行します。

CPUテストの合格からMarioのプレイまで#

QwenputerのRISC-V CPUは、rv32ui、rv32um、rv32uzbaを含む公式のriscv-testsスイートに合格し、その機能を実証しました。CおよびMicroPythonのバイナリをモデルのフォワードパス内で直接実行することにも成功し、決定論的な実行経路を示しています。QEMUに対して約230,000件の出力を再生した結果、不一致はゼロであり、コンパイルされたCPUが忠実に動作していることが確認されました。

この新しい構成により、特定の性能向上も得られました。DeepMindの大規模乗算ベンチマークmul_bigにおいて、Qwen 3.5 4Bのスコアは55%から97.5%に上昇しました。この向上は、組み込まれたCPUの正確な演算能力によるものであり、LLM本来の推論能力が全般的に高まったわけではありません。技術的な詳細については、プロジェクトのリポジトリをご覧ください:GitHub - divagr18/qwenputer: A computer, compiled into the weights of a language model。

この基盤をもとに、NesformerプロジェクトはNintendo Entertainment System(NES)をQwen 3.5にコンパイルしました。NESの6502 CPU、2 KBのRAM、さらにはゲームカートリッジのデータまでを、モデルの重みに直接組み込んでいます。入力、グラフィックス、音声、割り込みは軽量なホストが引き続き管理しますが、NesformerはSuper Mario Bros.を実行できます。ただし動作は低速です。1フレームの処理に1~6秒かかり、10秒分のゲームプレイには約25分の推論が必要です。

真のブレークスルーはフレームレートではありません#

Nesformerの見どころであるLLM内でのSuper Mario Bros.の動作は、冷静に捉える必要があります。1フレームの描画には約1~6秒かかります。つまり、わずか10秒分のゲームプレイに約25分の計算が必要となり、リアルタイムのエミュレーターとしては実用的ではありません。

真の意義はフレームレートではなく、その根底にある技術的成果にあります。この研究は、LLMの内部計算が本質的にあいまいなものや学習されたものではなく、決定論的かつ正確になり得ることを示しています。慎重にコンパイルされたモデルの重みは再現可能な演算を実行し、ニューラルネットワークを不透明で確率的なシステムとみなす従来の見方に異議を唱えています。

これにより、精度が重視されるAIワークフローを統合する道が開かれます。コンパイルされた演算やステートマシンのブロックは、絶対的な正確性が求められる次のようなタスクを支える可能性があります - 暗号 - 科学シミュレーション - 産業用制御システム

概念実証の段階であり、このアプローチが外部ツールやCPUに取って代わるものではありません。統合、容量の拡張、速度、検証には課題が残っています。しかし、将来のLLMが学習された能力に加えてハードコードされた計算モジュールを組み込み、あいまいな推論と正確な実行の両方を必要とする新たな領域へ活用の幅を広げる可能性を強く示唆しています。