LLM, которая запускает Super Mario

Компьютер, а не хитрый вызов инструмента#

Qwenputer — новая реализация, которая встраивает 32-разрядный процессор RISC-V непосредственно в веса модели Qwen 3.5 4B от Alibaba. Этот инновационный подход обходит традиционные методы, такие как вызовы инструментов или изолированные среды, и выполняет вычисления целиком в рамках прямых проходов модели. Процессор — это не внешняя утилита; он буквально закодирован в параметрах нейронной сети.

Специализированный компилятор chipformer преобразует описание схемы процессора в конкретные веса attention и MLP. В рамках этого процесса процессору отводятся 11 скомпилированных слоёв, которые добавляются перед исходными 32 слоями Qwen. Важно, что для такой интеграции не требуется дополнительное обучение, поскольку компилятор напрямую программирует параметры модели.

Это означает, что выполнение инструкций разворачивается через прямые проходы модели и работает как специально спроектированная схема. Важно отличать это от случая, когда обычная LLM спонтанно развивает вычислительные способности: Qwenputer представляет собой детерминированный, жёстко заданный процессор, встроенный в архитектуру модели. Он проходит официальные тесты RISC-V и выполняет внутри себя бинарные файлы на C и MicroPython.

Приём с памятью, скрытый на виду#

Центральная задача для любого процессора — память. Изобретательное решение Qwenputer заключается в том, что механизм Gated DeltaNet, который присутствует в трёх из каждых четырёх слоёв attention в Qwen 3.5 4B, используется как RAM фиксированной ёмкости. Обычно это рекуррентное состояние постепенно затухает, позволяя модели «забывать» более старую информацию.

Однако при закреплении шлюза удержания на значении 1 сохранённые значения остаются бессрочно, не подчиняясь обычному затуханию. Установка силы обновления на 1 гарантирует, что новые записи полностью перезаписывают существующие данные, а не смешиваются с ними. Кроме того, использование one-hot-ключей направляет каждую операцию записи в точную строку матрицы состояния, обеспечивая точную адресуемую память.

Это резко отличается от постоянно растущего KV-кэша трансформера, который увеличивается вместе с длиной контекста. Память Qwenputer конечна и настроена целенаправленно: это не безграничное хранилище для запоминания диалога и не универсальная файловая система. Это позволяет 32-разрядному процессору RISC-V, встроенному в 11 слоёв Qwen, обращаться к выделенной памяти, проходить официальные riscv-tests и выполнять C и MicroPython в рамках прямого прохода модели.

От прохождения тестов процессора до игры в Mario#

Процессор RISC-V в Qwenputer подтвердил работоспособность, пройдя официальные наборы riscv-tests, включая rv32ui, rv32um и rv32uzba. Он успешно выполнил бинарные файлы на C и MicroPython непосредственно в прямом проходе модели, продемонстрировав детерминированный путь выполнения. Примерно на 230.000 воспроизведённых выходных данных в сравнении с QEMU не было ни одного расхождения, что подтверждает точную работу скомпилированного процессора.

Эта новая конфигурация также дала конкретный прирост производительности: в тесте DeepMind mul_big на умножение больших чисел результат Qwen 3.5 4B вырос с 55% до 97.5%. Это улучшение напрямую связано с точными арифметическими возможностями встроенного процессора, а не с общим усилением собственных способностей LLM к рассуждению. Подробнее с техническими деталями можно ознакомиться в репозитории проекта: GitHub - divagr18/qwenputer: A computer, compiled into the weights of a language model.

На этой основе проект Nesformer скомпилировал Nintendo Entertainment System (NES) в Qwen 3.5. Для этого в веса модели были встроены процессор 6502 приставки NES, 2 KB RAM и даже данные игрового картриджа. Хотя управление вводом, графикой, звуком и прерываниями по-прежнему берёт на себя лёгкий хост, Nesformer успешно запускает Super Mario Bros., хотя и медленно. Обработка каждого кадра занимает от 1 до 6 секунд, то есть для 10 секунд игрового процесса требуется около 25 минут вывода.

Главный прорыв — не частота кадров#

Зрелищность Nesformer — Super Mario Bros., работающая внутри LLM, — нужно рассматривать в перспективе. Отрисовка каждого кадра занимает примерно от 1 до 6 секунд. Это значит, что всего 10 секунд игрового процесса требуют около 25 минут вычислений, поэтому в роли эмулятора реального времени такое решение непрактично.

Истинная значимость заключается не в частоте кадров, а в лежащем в основе техническом достижении. Эта работа показывает, что внутренние вычисления LLM могут быть детерминированными и точными, а не изначально нечёткими или обученными. Тщательно скомпилированные веса модели выполняют воспроизводимые операции, что ставит под сомнение привычное представление о нейронных сетях как о непрозрачных вероятностных системах.

Это открывает возможности для интеграции ИИ-процессов, чувствительных к точности. Скомпилированные блоки арифметики или конечных автоматов могли бы поддерживать задачи, требующие абсолютной точности, такие как - Криптография - Научное моделирование - Системы промышленного управления

Хотя это лишь доказательство концепции, такой подход не заменяет внешние инструменты или CPU. Остаются сложности с интеграцией, масштабированием ёмкости, скоростью и верификацией. Тем не менее он убедительно указывает, что будущие LLM смогут включать жёстко заданные вычислительные модули наряду с обученными способностями, расширяя сферу применения на новые области, где требуются и нечёткий вывод, и точное выполнение.