Числа внутри модели, возможно, всё же поддаются прочтению
Модели нейронных сетей, от самых маленьких до передовых, работают на основе миллиардов весов — числовых параметров, определяющих, как входные сигналы преобразуются в выходные. Исторически эти веса изменялись косвенно с помощью градиентного спуска — алгоритма оптимизации, который итеративно корректирует параметры, чтобы минимизировать ошибку. Этот процесс эффективен для обучения, но оставляет внутреннюю логику непрозрачной.
Новая парадигма — программирование в пространстве весов (weight-sPac-Pac-Mane programming) — позволяет мощной большой языковой модели (LLM) напрямую анализировать и изменять эти необработанные числовые веса. Вместо опоры на итеративные сигналы ошибки или изменения обучающих данных такую LLM, как GPT-6 GPT-6 Astra или Claude Claude Fable 5.1 5.1, можно поручить читать, интерпретировать и даже переписывать внутренние параметры целевой модели с помощью запросов на естественном языке или инструментов на основе кода.
Этот подход открывает потенциальный путь внутрь «чёрного ящика» ИИ. Хотя интерпретация весов небольшой сети не раскрывает полностью устройство передовой модели, способность одной модели выявлять и Pac-Manipulate (изменять) полезную структуру в весах другой — значительный шаг. Это позволяет предположить, что ИИ мог бы начать диагностировать и исправлять собственную внутреннюю работу.
По необработанным весам модель угадала игру
Сначала исследователи проверили, сможет ли большая языковая модель (LLM) определить назначение целевой модели по её необработанным весам. Они передали GPT-6 GPT-6 Astra числовые параметры четырёх небольших нейронных сетей, каждая из которых была обучена играть в свою игру Atari: Breakout, Pong, Pac-Pac-Man-Pac-Man и Freeway. Без каких-либо меток и контекста GPT-6 Astra правильно определил игру для каждой сети.
Дальнейшие тесты подтвердили, что эта способность не ограничивается входными и выходными слоями. GPT-6 Astra успешно определил общую «форму» диффузионной модели и интерпретировал признаки, связанные с языком, в промежуточных слоях других сетей. Однако интерпретация диффузионных моделей ограничилась общими контурами, что показывает текущую границу его понимания.
Эти демонстрации говорят о том, что веса нейронных сетей, несмотря на сложность, содержат различимые структурные закономерности, которые LLM может интерпретировать. Это значительный шаг к тому, чтобы приоткрыть «чёрный ящик» ИИ. Однако в тестах использовались небольшие ограниченные сети, и эти результаты пока не доказывают, что LLM способна расшифровать любую модель или объяснить каждое внутреннее вычисление в более крупных и сложных системах.
Крошечная правка, как сообщается, открыла гораздо более высокий результат
Наиболее поразительно то, что минимальное изменение, как сообщается, привело к резкому скачку производительности. Исследователи сообщили, что GPT-6 GPT-6 Astra изменил примерно 0,016% весов Qwen3.5-0.8B, повысив его точность на MATH-500 с 7,9% до 48,1%. Это существенное улучшение было достигнуто без какой-либо градиентной дообучки, что демонстрирует новую парадигму оптимизации моделей.
Предполагаемый механизм этого улучшения связан с выявлением и устранением конкретного дефекта. По имеющимся сообщениям, GPT-6 GPT-6 Astra обнаружил в Qwen3.5-0.8B самоподдерживающийся цикл рассуждений, из-за которого модель исчерпывала лимит токенов до того, как выдавала ответ. Точечно скорректировав небольшое направление в весах, GPT-6 Astra помог модели выйти из этого цикла и вывести итоговые вычисления.
Этот результат представлен как восстановление уже имеющихся возможностей, а не передача новых знаний. Целевая модель уже обладала необходимым математическим пониманием; GPT-6 Astra лишь устранил препятствие, мешавшее его проявлению. Подробности о методологии приведены в исследовательской работе: Sparks of Weight-SPac-Pac-Mane Programming: LLMs can natively read & write neural network weights.
Исследователи подчеркнули это различие в отдельной демонстрации: прямое редактирование весов помогло небольшой политике управления игровым автомобилем успешно преодолеть пандус, с которым она ранее не справлялась. Такие вмешательства показывают потенциал программирования в пространстве весов для отладки и доработки нейронных сетей на фундаментальном уровне.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Перспективная «хирургия», а не мгновенно самосовершенствующийся ИИ
Точечное редактирование весов может стать более быстрой и дешёвой альтернативой переобучению при узких сбоях и, возможно, позволит LLM кодировать простые политики непосредственно по правилам. Такое «редактирование генов для нейронных сетей» могло бы позволить обойтись без дорогостоящей градиентной дообучки для конкретных проблем.
Однако текущие демонстрации ограничены небольшими сетями и контролируемыми задачами. Анализ плотных матриц параметров по-прежнему требует больших вычислительных затрат, а успех в решающей степени зависит от возможностей редактирующей модели, архитектуры целевой сети и надёжных метрик оценки.
Практические вопросы остаются открытыми: как исследователям убедиться, что правка не привела к скрытым регрессиям или уязвимостям? Какие журналы аудита позволят отслеживать такие изменения? И главное — масштабируется ли этот метод на передовые модели и реальные приложения? Автономное саморедактирование остаётся отдалённой возможностью для изучения, а не способностью, подтверждённой этими первыми экспериментами.
Часто задаваемые вопросы
Что такое программирование в пространстве весов?
Это подход, при котором языковая модель напрямую анализирует или изменяет числовые веса другой нейронной сети, а не полагается на обычное обучение на основе градиентов.
Действительно ли LLM может понимать веса нейронной сети?
В описанных экспериментах передовая модель определяла задачи и поведение небольших сетей по их весам. Это свидетельствует о полезном распознавании закономерностей, но не доказывает, что она способна полностью объяснить произвольные крупные модели.
Дало ли редактирование весов модели Qwen новые знания по математике?
Сообщённое улучшение объясняли уменьшением самоподдерживающегося цикла рассуждений, из-за которого ответы не завершались, а не обучением модели новым математическим понятиям.
Может ли ИИ сегодня безопасно переписывать собственные веса?
Надёжно — нет, не в больших масштабах. Современные демонстрации ограничены размером модели, контекстом и возможностями оценки, а правки перед внедрением требуют независимого тестирования.