17.253 числа и одно на удивление конкретное предположение
Передовая модель OpenAI GPT-6 Astra получила 17.253 необработанных числа с плавающей запятой в виде простого текста. Без каких-либо игровых меток, инструментов выполнения или вариантов ответа Astra определила, что исходная нейронная сеть обучена играть в Breakout, с уверенностью 99%. Это стало значимой демонстрацией способности большой языковой модели интерпретировать необработанные параметры нейронной сети.
Astra, по имеющимся данным, определила игру, наблюдая пространственные закономерности в числовых данных. Она отметила, что веса первого слоя для канала агента-игрока сгруппированы вдоль нижней части пространственного представления игры, напоминая горизонтальную ракетку. При этом выходные веса, по-видимому, в основном различали движения влево и вправо, что дополнительно подкрепило гипотезу о Breakout.
Этот эксперимент даёт убедительные свидетельства того, что модель иногда может определить поведение небольшой сети непосредственно по её параметрам. Однако он не доказывает, что Astra понимает произвольные нейронные сети или их сложные внутренние механизмы в целом. Исследователи успешно воспроизвели такую интерпретацию параметров для нескольких политик с идентичной архитектурой, включая:
- Breakout
- Pong
- Pac-Man
- Freeway/Frogger
Модель не только прочитала веса — она их записала
Статья, лежащая в основе этого результата, «Sparks of Weight-Space Programming», предлагает парадигму, в которой большие языковые модели интерпретируют и изменяют необработанные параметры нейронной сети напрямую. Это «программирование в пространстве весов» отходит от исключительной опоры на градиентный спуск и циклы обучения и использует LLM для диагностики и редактирования поведения сетей.
Яркой демонстрацией стал синтез Astra политики для игры в Breakout из нулевой исходной конфигурации за один ход. Эта генерация без обучающих примеров (zero-shot) набрала 517,4 очка, значительно превзойдя стандартного агента Proximal Policy Optimization (PPO). Базовый агент PPO набрал лишь 25,3 очка, несмотря на обучение в течение от 100 миллионов до 500 миллионов шагов среды.
Это сравнение подчёркивает проявившуюся у Astra способность создавать работоспособные политики только на основе высокоуровневой логики игры. Хотя в данной конкретной постановке это значительное достижение, оно не означает, что генерация весов по запросу широко заменяет обучение с подкреплением или универсально применима ко всем задачам. Скорее, оно открывает новый путь для создания сетей и вмешательства в них.
Крошечная правка и гораздо больший скачок в бенчмарке
Помимо простого распознавания, Astra, по имеющимся данным, продемонстрировала прямое редактирование нейронной сети. Исследователи поручили Astra изменить 131.072 веса — ничтожные 0,016% от общего числа параметров модели Qwen3.5-0.8B, — сосредоточенные в слоях 15 и 19.
Это точечное вмешательство было направлено на внутреннее направление, которое, как считается, отвечает за циклы повторяющихся рассуждений — сбой, при котором модель Qwen часто упиралась в лимиты токенов на выходе. Правка не была дообучением: градиентный спуск и шаги обучения не использовались.
Эффект был значительным: результат Qwen на бенчмарке MATH-500 заметно вырос с 7,9% до 48,1%. Аналогично, показатель IFEval (следование инструкциям) подскочил с 21% до 62,3%. Эти улучшения были связаны с устранением подавляющего сбоя, а не с тем, что Astra напрямую добавила математические способности.
Важно, что этот подход дал минимальное улучшение для моделей вроде Gemma 3 270M, у которых не было такой же внутренней проблемы зацикливания. Подробнее об этих методах — в препринте: Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights. Это показывает тонкое применение программирования в пространстве весов, при котором прямые правки устраняют конкретные, поддающиеся выявлению поведенческие патологии.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Многообещающий эксперимент, а не телепатия с нейросетью
Работа с Qwen вызвала методологические возражения. Критики отметили, что описанное программирование в пространстве весов включало изолированную среду Python (sandbox) и тренировочные задачи — такой процесс больше похож на работу инженера, управляющего признаками, чем на лёгкое редактирование ИИ по необработанному тексту. Это различие важно для понимания масштаба эксперимента.
Обычные оптимизаторы обновляют параметры численно, шаг за шагом улучшая работу модели. Программирование в пространстве весов, напротив, предполагает, что модели могут выдвигать смысловые гипотезы о том, за что отвечают отдельные параметры. Возможность того, что LLM распознаёт смысл весов, а не только их числовые значения, требует тщательного воспроизведения и оценки, чтобы отделить продемонстрированные возможности от умозрительных интерпретаций.
Возможности прямого анализа и редактирования могли бы заметно помочь в отладке сложных нейронных сетей, обеспечив детальный уровень контроля, недоступный сейчас. Однако это также поднимает важные вопросы надёжности и безопасности. Описанные тесты не показывают, что ИИ может самостоятельно отключать защитные механизмы; они скорее подчёркивают, почему контроль над будущими инструментами редактирования весов требует тщательного изучения по мере развития области.
Часто задаваемые вопросы
Как Astra определила Breakout?
Ей передали 17.253 параметра модели в виде текста, и, по имеющимся данным, она определила Breakout по закономерностям, связанным с ракеткой и действиями «влево» или «вправо».
Что такое программирование в пространстве весов?
Это подход, при котором ИИ-модель интерпретирует или редактирует параметры нейронной сети напрямую, а не опирается только на обычные обновления в процессе обучения.
Обучала ли Astra сеть для Breakout?
В описанном эксперименте Astra сгенерировала веса сети по запросу, и полученная политика набрала 517,4 очка. Это конкретный результат бенчмарка, а не доказательство общего автономного обучения.
Даёт ли редактирование весов модели новые навыки рассуждения?
Необязательно. Описанная правка Qwen, по-видимому, уменьшила сбой в виде зацикливания; исследователи предупредили, что устранение препятствия не равносильно добавлению новой способности к рассуждению.
Может ли прямое редактирование весов обойти защитные механизмы ИИ?
Это создаёт потенциальный риск двойного назначения, но описанные эксперименты не доказывают, что модели способны самостоятельно снимать защитные механизмы.