ИИ-патч, обошедшийся без обучения
Исследователи из Лаборатории информатики и искусственного интеллекта MIT (CSAIL), включая Rikiya Takehi, Jayden Teoh и Alex Zhang, представили новый метод модификации ИИ-моделей. В их статье «Sparks of Weight-Space Programming» описано, как передовая ИИ-модель была использована для прямой диагностики и исправления поведения другой модели без традиционного обучения на основе градиентов.
В основе этого прорыва лежит беспрецедентная способность ИИ интерпретировать и редактировать веса — числовые параметры, которые нейронная сеть усваивает в ходе обучения. В отличие от понятного человеку исходного кода, эти миллионы чисел обычно выглядят случайными и непрозрачными даже для их создателей. Возможность анализировать их или напрямую редактировать долгое время оставалась труднодостижимой.
Например, GPT-6 Astra получила исходные веса Qwen 3.5-0.8B — более маленькой модели. Astra диагностировала конкретную проблему — патологические циклы повторяющихся рассуждений — и напрямую изменила всего 0,016% из 800 миллионов весов Qwen. Это точечное вмешательство резко улучшило показатели Qwen:
- Бенчмарк MATH-500: с 7,9% до 48,1% (улучшение примерно в 6 раз)
- Бенчмарк GSM8K: с 13,8% до 67,1%
- IFEval (следование инструкциям): с 21,0% до 62,3%
Такое прямое программирование в пространстве весов позволяет обойти вычислительно затратный процесс повторного обучения и предлагает новую парадигму разработки и отладки ИИ. Возможность рассматривать внутренние параметры другого ИИ как редактируемый код — значительный шаг вперёд в метаспособностях ИИ.
Крошечная правка и поразительный скачок в бенчмарках
Исследователи MIT выбрали Qwen 3.5-0.8B — модель с 800 миллионами параметров — из-за её задокументированной склонности впадать в циклы повторяющихся рассуждений. Проанализировав внутреннее состояние модели, команда связала это патологическое поведение с определёнными паттернами, относящимися к слоям 15 и 19.
Чтобы устранить проблему, исследователи использовали передовой ИИ для прямого редактирования модели Qwen. Это хирургическое вмешательство изменило лишь 131.072 параметра — ничтожные 0,016% от общего числа весов модели. Это не было повторным обучением, а стало точным, целенаправленным изменением в пространстве весов.
Эффект был немедленным и впечатляющим по нескольким бенчмаркам:
- MATH-500: вырос с 7,9% до 48,1%
- GSM8K: вырос с 13,8% до 67,1%
- IFEval: увеличился в три раза, с 21,0% до 62,3%
Это существенное улучшение говорит о том, что патч устранил узкое место и раскрыл уже имеющиеся возможности, а не добавил новые математические знания. Принципиально важно, что аналогичная попытка на модели без характерной проблемы с зацикливанием дала незначительный прирост, что подтверждает: правка устранила конкретную выявленную патологию в Qwen 3.5-0.8B. Это демонстрирует новую форму нейрохирургии ИИ, когда один ИИ диагностирует и напрямую исправляет внутренние недостатки другого.
Чтение весов — это не чтение мыслей
Помимо исправления Qwen 3.5-0.8B, исследователи изучили более широкие возможности программирования в пространстве весов. Как сообщается, небольшие сети для игр (около 17.000 весов) анализировались по их исходным параметрам; ИИ определял, для какой именно игры Atari обучена каждая сеть (например, Breakout, Pong, Pac-Man), с высокой уверенностью, и даже назвал Frogger соответствием для Freeway.
В других экспериментах ИИ, как сообщается, вручную записывал веса для простых игровых агентов, которые превзошли агентов, обученных на протяжении 100 миллионов шагов с помощью Proximal Policy Optimization (PPO). Хотя эти демонстрации показывают замечательную способность интерпретировать и создавать работающие сети на основе исходных весов, вмешательство в Qwen было более сложным процессом. Оно включало итеративный анализ с использованием внешних инструментов и тестовых задач, а не прямое «чтение мыслей» по весам.
Важно, что исследователи также сообщили об ограничениях. Попытки выявить «честность» или «угодничество» в весах модели без доступа к механизмам внимания оказались безуспешными. Это говорит о том, что интерпретация внутренних цепей остаётся сложной задачей, а текущие интерпретации по-прежнему являются гипотезами, требующими проверки. Подробнее об этих результатах можно прочитать в статье: Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights. Эта работа подчёркивает, что программирование в пространстве весов, при всей его значимости, пока не является полноценным окном в когнитивные процессы ИИ.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Полезный новый инструмент, но не рекурсивное самосовершенствование
Практические последствия такого программирования в пространстве весов значительны и потенциально могут изменить подход к разработке ИИ. Передовые модели могли бы выступать в роли продвинутых помощников по отладке, находя и исправляя конкретные дефекты в небольших открытых моделях без ресурсоёмких конвейеров дообучения. Это позволяет проводить точечные вмешательства, существенно экономя вычислительные затраты и время.
Однако исследователи предостерегают от преувеличения нынешнего достижения. Хотя это впечатляющий результат передовой инженерии машинного обучения и целенаправленной абляции, он не равнозначен тому, что модель полностью понимает или переписывает собственное сложное пространство параметров. Небольшая доля изменённых весов (0,016% для Qwen 3.5-0.8B) отражает точечное вмешательство, а не всестороннюю самореструктуризацию.
Чтобы подкрепить утверждения о более широком самосовершенствовании ИИ, в будущих работах необходимо показать:
- Независимые стандартизированные оценки на разных семействах моделей
- Воспроизводимые результаты с устойчивым приростом производительности
- Подтверждение того, что правки обобщаются на разные задачи, не нанося непреднамеренного ущерба другим возможностям
Такая строгая проверка позволила бы отличить мощные новые инструменты от умозрительных скачков к рекурсивному самосовершенствованию.
Часто задаваемые вопросы
Что такое программирование в пространстве весов (weight-space programming)?
Это предлагаемая практика использования языковой модели для анализа или прямого редактирования числовых весов другой нейронной сети.
Обучали ли Qwen с нуля в рамках описанного редактирования?
Нет. Согласно сообщениям, вмешательство изменило небольшую долю весов Qwen, чтобы устранить циклы повторяющихся рассуждений; градиентный спуск и повторное обучение не применялись.
Означает ли это, что ИИ может улучшать себя сам?
Пока нет. Описанная работа касается мощной модели, редактирующей гораздо меньшую модель, а это отличается от ситуации, когда модель надёжно улучшает собственные веса масштаба передовых моделей.
Может ли программирование в пространстве весов заменить обучение моделей?
Имеющиеся данные этого не подтверждают. Такой подход может помочь устранять отдельные проблемы в существующих моделях, но не обязательно способен добавить возможности, которыми они ещё не обладают.