O LLM que executa Super Mario

Um computador, não uma chamada de ferramenta engenhosa#

O Qwenputer, uma implementação inovadora, incorpora uma CPU RISC-V de 32 bits diretamente nos pesos do modelo Qwen 3.5 4B da Alibaba. Essa abordagem inovadora evita métodos tradicionais, como chamadas de ferramentas ou ambientes isolados (sandbox), realizando a computação inteiramente dentro das passagens diretas (forward passes) do modelo. A CPU não é um utilitário externo; ela está literalmente codificada nos parâmetros da rede neural.

Um compilador especializado, o chipformer, traduz uma descrição de circuito da CPU em pesos específicos de atenção e MLP. Esse processo dedica 11 camadas compiladas à CPU, que são então acrescentadas antes das 32 camadas originais do Qwen. É fundamental que essa integração não exija treinamento adicional, pois o compilador programa diretamente os parâmetros do modelo.

Isso significa que a execução de instruções se desenvolve por meio das passagens diretas (forward passes) do modelo, operando como um circuito deliberadamente projetado. É essencial distinguir isso de um LLM comum que desenvolve espontaneamente habilidades computacionais; o Qwenputer representa uma CPU determinística e codificada diretamente, incorporada à arquitetura do modelo. Ele passa nos testes oficiais do RISC-V e executa internamente binários em C e MicroPython.

O truque de memória escondido à vista de todos#

Um desafio central para qualquer CPU é a memória. A solução engenhosa do Qwenputer reaproveita o mecanismo Gated DeltaNet, presente em três de cada quatro camadas de atenção do Qwen 3.5 4B, para atuar como uma RAM de capacidade fixa. Normalmente, esse estado recorrente decai lentamente, permitindo que o modelo "esqueça" informações mais antigas.

No entanto, ao fixar a porta de retenção em 1, os valores armazenados persistem indefinidamente, contrariando o decaimento típico. Definir a intensidade de atualização como 1 garante que novas gravações sobrescrevam completamente os dados existentes, em vez de se misturarem a eles. Além disso, o uso de chaves one-hot direciona cada operação de gravação a uma linha precisa da matriz de estado, permitindo uma memória exata e endereçável.

Isso contrasta fortemente com o KV cache em constante crescimento de um transformer, que se expande com o comprimento do contexto. A memória do Qwenputer é finita e configurada de propósito, e não um reservatório ilimitado para recuperação de conversas nem um sistema de arquivos de uso geral. Isso permite que a CPU RISC-V de 32 bits, incorporada em 11 das camadas do Qwen, acesse uma memória dedicada, passando nos riscv-tests oficiais e executando C e MicroPython dentro da passagem direta (forward pass) do modelo.

De testes de CPU a jogar Mario#

A CPU RISC-V do Qwenputer comprovou seu funcionamento ao passar nas suítes oficiais de riscv-tests, incluindo rv32ui, rv32um e rv32uzba. Ela executou com sucesso binários em C e MicroPython diretamente na passagem direta (forward pass) do modelo, demonstrando um caminho de execução determinístico. Em aproximadamente 230.000 saídas reproduzidas em comparação com o QEMU, houve zero divergências, confirmando o funcionamento fiel da CPU compilada.

Essa configuração inovadora também gerou um ganho específico de desempenho: no benchmark de multiplicação de grandes números mul_big da DeepMind, a pontuação do Qwen 3.5 4B saltou de 55% para 97,5%. Essa melhoria é resultado direto das capacidades aritméticas precisas da CPU incorporada, e não de um aprimoramento geral do raciocínio inerente do LLM. Para mais detalhes técnicos, os leitores podem explorar o repositório do projeto: GitHub - divagr18/qwenputer: A computer, compiled into the weights of a language model.

Com base nessa fundação, o projeto Nesformer compilou um Nintendo Entertainment System (NES) no Qwen 3.5. Isso envolveu incorporar a CPU 6502 do NES, 2 KB de RAM e até os dados do cartucho do jogo diretamente nos pesos do modelo. Embora um host leve ainda gerencie entrada, gráficos, áudio e interrupções, o Nesformer executa com sucesso Super Mario Bros., ainda que lentamente. Cada quadro leva de 1 a 6 segundos para ser processado, o que significa que 10 segundos de jogo exigem cerca de 25 minutos de inferência.

O verdadeiro avanço não é a taxa de quadros#

O espetáculo do Nesformer — Super Mario Bros. rodando dentro de um LLM — deve ser colocado em perspectiva. Cada quadro leva aproximadamente 1 a 6 segundos para ser renderizado. Isso significa que meros 10 segundos de jogo exigem cerca de 25 minutos de computação, o que o torna inviável como emulador em tempo real.

O verdadeiro significado não está na taxa de quadros, mas na conquista técnica subjacente. Este trabalho demonstra que as computações internas de um LLM podem ser determinísticas e exatas, em vez de inerentemente imprecisas ou aprendidas. Os pesos do modelo, cuidadosamente compilados, realizam operações repetíveis, desafiando a visão convencional das redes neurais como sistemas opacos e probabilísticos.

Isso abre portas para a integração de fluxos de trabalho de IA sensíveis à precisão. Blocos compilados de aritmética ou de máquinas de estados poderiam apoiar tarefas que exigem precisão absoluta, como - Criptografia - Simulações científicas - Sistemas de controle industrial

Embora seja uma prova de conceito, essa abordagem não substitui ferramentas externas nem CPUs. Permanecem desafios de integração, escalonamento de capacidade, velocidade e verificação. No entanto, ela sugere fortemente que futuros LLMs poderiam incorporar módulos computacionais codificados diretamente ao lado de suas capacidades aprendidas, ampliando sua utilidade para novos domínios que exigem tanto inferência imprecisa quanto execução exata.