Le LLM qui exécute Super Mario

Un ordinateur, pas un simple appel d'outil astucieux#

Qwenputer, une implémentation inédite, intègre un processeur RISC-V 32 bits directement dans les poids du modèle Qwen 3.5 4B d'Alibaba. Cette approche innovante contourne les méthodes traditionnelles, telles que les appels d'outils ou les environnements isolés (sandbox), en effectuant le calcul entièrement au sein des passes avant du modèle. Le processeur n'est pas un utilitaire externe : il est littéralement encodé dans les paramètres du réseau de neurones.

Un compilateur spécialisé, chipformer, traduit une description de circuit du processeur en poids d'attention et de MLP spécifiques. Ce processus consacre 11 couches compilées au processeur, qui sont ensuite placées avant les 32 couches d'origine de Qwen. Point essentiel, cette intégration ne nécessite aucun entraînement supplémentaire, car le compilateur programme directement les paramètres du modèle.

Cela signifie que l'exécution des instructions se déroule au fil des passes avant du modèle, sous la forme d'un circuit délibérément conçu. Il est essentiel de distinguer ce cas d'un LLM ordinaire qui développerait spontanément des capacités de calcul : Qwenputer est un processeur déterministe, codé en dur, intégré à l'architecture du modèle. Il réussit les tests officiels RISC-V et exécute en interne des binaires C et MicroPython.

L'astuce mémoire cachée à la vue de tous#

Pour tout processeur, la mémoire est un défi central. La solution ingénieuse de Qwenputer détourne le mécanisme Gated DeltaNet, présent dans trois couches d'attention sur quatre de Qwen 3.5 4B, pour en faire une RAM de capacité fixe. Normalement, cet état récurrent se dégrade lentement, ce qui permet au modèle d'« oublier » les informations plus anciennes.

Toutefois, en fixant la porte de rétention à 1, les valeurs stockées persistent indéfiniment, malgré la dégradation habituelle. Régler l'intensité de mise à jour à 1 garantit que les nouvelles écritures écrasent complètement les données existantes, au lieu de s'y mélanger. En outre, l'utilisation de clés one-hot dirige chaque opération d'écriture vers une ligne précise de la matrice d'état, ce qui permet une mémoire exacte et adressable.

Cela contraste nettement avec le cache KV d'un transformeur, qui ne cesse de croître avec la longueur du contexte. La mémoire de Qwenputer est finie et configurée à dessein ; ce n'est ni un réservoir illimité pour le rappel conversationnel, ni un système de fichiers généraliste. Cela permet au processeur RISC-V 32 bits, intégré dans 11 des couches de Qwen, d'accéder à une mémoire dédiée, de réussir les riscv-tests officiels et d'exécuter du C et MicroPython dans la passe avant du modèle.

Des tests de processeur à Mario#

Le processeur RISC-V de Qwenputer a prouvé son bon fonctionnement en réussissant les suites officielles riscv-tests, notamment rv32ui, rv32um et rv32uzba. Il a exécuté avec succès des binaires C et MicroPython directement dans la passe avant du modèle, démontrant un chemin d'exécution déterministe. Sur environ 230.000 sorties rejouées par rapport à QEMU, aucune divergence n'a été constatée, ce qui confirme le fonctionnement fidèle du processeur compilé.

Cette configuration inédite a également entraîné un gain de performance précis : sur le benchmark de multiplication de grands nombres mul_big de DeepMind, le score de Qwen 3.5 4B est passé de 55 % à 97,5 %. Cette amélioration découle directement des capacités arithmétiques précises du processeur intégré, et non d'une amélioration générale du raisonnement propre au LLM. Pour plus de détails techniques, les lecteurs peuvent consulter le dépôt du projet : GitHub - divagr18/qwenputer: A computer, compiled into the weights of a language model.

Sur cette base, le projet Nesformer a compilé une Nintendo Entertainment System (NES) dans Qwen 3.5. Cela a consisté à intégrer directement dans les poids du modèle le processeur 6502 de la NES, ses 2 Ko de RAM, et même les données de la cartouche du jeu. Bien qu'un hôte léger continue de gérer les entrées, les graphismes, l'audio et les interruptions, Nesformer exécute avec succès Super Mario Bros., quoique lentement. Chaque image demande de 1 à 6 secondes de traitement, de sorte que 10 secondes de jeu nécessitent environ 25 minutes d'inférence.

La véritable avancée n'est pas la fréquence d'images#

Le spectacle de Nesformer, à savoir Super Mario Bros. exécuté dans un LLM, doit être remis en perspective. Chaque image demande environ 1 à 6 secondes de rendu. Ainsi, seulement 10 secondes de jeu nécessitent environ 25 minutes de calcul, ce qui le rend impraticable comme émulateur en temps réel.

La véritable portée ne tient pas à la fréquence d'images, mais à la prouesse technique sous-jacente. Ce travail démontre que les calculs internes d'un LLM peuvent être déterministes et exacts, plutôt que par nature approximatifs ou appris. Les poids du modèle, soigneusement compilés, effectuent des opérations reproductibles, ce qui remet en cause la vision conventionnelle des réseaux de neurones comme des systèmes opaques et probabilistes.

Cela ouvre la voie à l'intégration de flux de travail d'IA sensibles à la précision. Des blocs d'arithmétique compilée ou de machines à états pourraient prendre en charge des tâches exigeant une exactitude absolue, telles que - Cryptographie - Simulations scientifiques - Systèmes de contrôle industriel

S'il s'agit d'une preuve de concept, cette approche ne remplace pas les outils externes ni les processeurs. Des défis demeurent en matière d'intégration, de montée en capacité, de vitesse et de vérification. Elle suggère toutefois fortement que les futurs LLM pourraient intégrer des modules de calcul codés en dur à côté de leurs capacités apprises, étendant leur utilité à de nouveaux domaines nécessitant à la fois une inférence approximative et une exécution exacte.