Новый «чит-код» ИИ от Microsoft

На протяжении многих лет повышение производительности ИИ-агентов представляло собой резкую дихотомию. Разработчики сталкивались с выбором между дорогостоящей, трудоемкой тонкой настройкой модели, требующей доступа к весам и привязывающей их к конкретным архитектурам. В качестве альтернативы они могли прибегнуть к ручному проектированию промптов — хрупкому подходу, основанному на догадках, дающему ненадежные результаты. Эта дилемма вынуждала идти на компромисс: глубокое, дорогостоящее изменение модели или поверхностная, хрупкая корректировка инструкций.

Microsoft Research теперь выпустила SkillOpt с открытым исходным кодом, предлагая преобразующий третий путь. Этот фреймворк обходит традиционные методы, рассматривая «документ навыков» агента на естественном языке — обычно простой файл markdown — как обучаемый параметр. SkillOpt принципиально переопределяет наш подход к улучшению агентов, смещая акцент с ядра модели на ее операционные инструкции.

Основная концепция SkillOpt элегантна: она использует данные для автоматического развития и оптимизации инструкций, а не для изменения весов базовой большой языковой модели. Это включает в себя сложный четырехэтапный цикл обучения.

Сначала целевая LLM выполняет задачи, записывая свои действия и оценки в «развертывание» (rollout). Затем отдельная модель-оптимизатор анализирует эти результаты, выявляя закономерности и правила из успехов и неудач.

Оптимизатор предлагает ограниченные изменения в файле навыков, подчиняясь «бюджету правок», который действует как скорость обучения для текста. Критически важно, что принимаются только те правки, которые доказали свое превосходство на отложенном валидационном наборе, обеспечивая надежную, основанную на данных доработку инструкций.

SkillOpt организует сложный цикл машинного обучения, рассматривая документ навыков агента как обучаемый артефакт. Этот четырехэтапный цикл начинается с Развертывания (Rollout): ИИ-агент выполняет пакет задач, используя свой текущий файл навыков, тщательно записывая каждое сообщение, вызов инструмента и окончательную оценку. Затем, на этапе Рефлексии (Reflection), используется отдельная модель-оптимизатор для анализа этих записанных успехов и неудач, выявляя многократно используемые шаблоны, которые она может преобразовать в конкретные правила.

На основе рефлексии оптимизатор предлагает целенаправленные изменения в файле навыков, добавляя, удаляя или заменяя правила в рамках строгого «бюджета правок». Этот бюджет функционирует точно так же, как скорость обучения для текста, критически предотвращая внесение оптимизатором разрушительных, масштабных изменений в правила, которые уже хорошо работают, при этом допуская стратегические улучшения.

Ни одна правка не принимается просто потому, что ее предлагает оптимизатор. Ключевой привратник Валидации (Validation) требует, чтобы предлагаемые изменения доказали свою ценность на отложенном наборе задач. Этот строгий шаг гарантирует, что только явно превосходящие модификации навыков станут постоянными, обеспечивая реальный, надежный прогресс в производительности агента. Отклоненные правки буферизуются, обучая оптимизатор избегать повторения прошлых ошибок.

Истинная магия SkillOpt заключается в ее портативности. Исследователи Microsoft продемонстрировали это, взяв оптимизированный файл навыков, изначально обученный в агенте Codex, и просто поместив его в агент Claude. Этот мгновенный перенос обеспечил поразительный прирост производительности на 31,8 пункта в сложных задачах с электронными таблицами, не требуя дальнейшего обучения или корректировки модели для Claude.

Это не было случайностью. Команда также доказала, что навыки, оптимизированные на более крупных и мощных моделях, могут успешно повышать производительность меньших, менее мощных моделей. Это критически важное открытие указывает на то, что SkillOpt улавливает подлинную логику задач и процедурные знания, а не просто особенности конкретной модели или предубеждения набора данных.

Такая эффективность фундаментально меняет разработку агентов. SkillOpt достиг лучшей в своем классе производительности во всех 52 разнообразных тестовых условиях, включая семь целевых моделей и шесть бенчмарков. Этот замечательный процесс оптимизации стоил всего $1-$5 в расходах на API за задачу, при этом не требуя выделенной инфраструктуры GPU. Для получения более подробной информации об этом новаторском подходе см. SkillOpt: Agent skills as trainable parameters - Microsoft Research.

Эта структура по сути предоставляет «чит-код» для интеллекта агентов, демократизируя передовые возможности. Она позволяет разработчикам развивать сложные, многократно используемые поведения экономически эффективным способом, ускоряя практическое внедрение более умных ИИ-агентов в реальные системы.

SkillOpt от Microsoft сигнализирует о глубоком сдвиге в разработке ИИ. Мы выходим за рамки традиционной дилеммы дорогостоящей тонкой настройки модели против хрупкого проектирования подсказок. Вместо этого SkillOpt оптимизирует поведение агентов, зафиксированное в виде проверяемых, версионируемых текстовых файлов, обычно в формате markdown. Это рассматривает документы навыков как обучаемые артефакты, а не одноразовые подсказки.

SkillOpt превращает создание подсказок из искусства в систематическую инженерную дисциплину. Его цикл, подобный машинному обучению – Rollout, Reflect, Edit, Validate – превращает итеративные догадки в строгий процесс. Модель-оптимизатор предлагает ограниченные изменения в файле навыков, придерживаясь «бюджета редактирования», который функционирует как скорость обучения для текста, гарантируя, что улучшения проверяются на отложенных наборах.

Этот систематический подход создает высокоэффективные многократно используемые активы. Например, навык, обученный на Codex, обеспечил прирост производительности на 31,8 пункта в задачах с электронными таблицами при использовании в Claude без дополнительного обучения. Навыки, оптимизированные для более крупных моделей, также переносились на меньшие, обеспечивая улучшения. Это доказывает, что метод улавливает общие знания по решению задач, а не особенности конкретной модели.

В конечном итоге, SkillOpt позиционирует структурированный текст как первоклассную цель для оптимизации. Это делает разработку агентов значительно дешевле, быстрее и доступнее. При заявленных затратах на обучение всего от $1 до $5 на API и без необходимости в инфраструктуре GPU, это демократизирует передовые возможности ИИ-агентов для более широкого круга разработчиков.

Что такое Microsoft SkillOpt?

SkillOpt — это фреймворк с открытым исходным кодом от Microsoft Research, который улучшает производительность ИИ-агентов путем автоматической оптимизации их «документов навыков» на естественном языке (например, файла markdown) вместо переобучения модели или ручного написания подсказок.

Как SkillOpt работает без тонкой настройки?

Он использует четырехэтапный цикл обучения: 1) Агент выполняет задачи (Rollout), 2) Модель-оптимизатор анализирует результаты (Reflection), 3) Она предлагает изменения в файле навыков (Edit), и 4) Изменения принимаются только в том случае, если они улучшают производительность на валидационном наборе.

Переносимы ли навыки, обученные с помощью SkillOpt, между моделями?

Да. Ключевой особенностью является переносимость. В ходе тестов файл навыков, обученный для одной модели (например, Codex), обеспечил значительное повышение производительности при использовании с совершенно другой моделью (например, Claude) без какого-либо переобучения, что доказывает, что навыки не зависят от модели.

Дорого ли использовать SkillOpt?

Нет, это очень экономично. Поскольку это не требует интенсивной для GPU донастройки (fine-tuning), затраты на обучение для задачи могут составлять всего от $1 до $5 в расходах на API, что делает его доступным для широкого круга разработчиков и предприятий.