Навык ИИ, составляющий 98% агента

ИИ-агент принципиально объединяет две части: базовую большую языковую модель (LLM), служащую двигателем, и harness, представляющую собой весь механизм. Детальный анализ Claude Code показал, что примерно 98% его архитектуры составляет harness, а не модель. Этот факт подчеркивает, что истинное инженерное мастерство в создании функциональных агентов заключается в этой сложной оболочке.

Этот подход резко контрастирует с предыдущими парадигмами ИИ. Prompt Engineering фокусировался на общении *с* моделью, создании точных входных данных для желаемых результатов. Context Engineering развил это, информируя модель, предоставляя ей необходимые данные и знания для улучшения ее рассуждений и ответов.

Harness Engineering представляет собой следующую критически важную эволюцию, переходя от простого общения или информации к построению управляемой, предсказуемой системы *вокруг* модели. Это включает определение процессов агента, его возможностей и того, как он реагирует на ошибки. Когда выбирается такой инструмент, как Claude Code, по сути, выбирается предварительно спроектированный harness.

Harness предоставляет модели необходимые возможности, которых ей изначально не хватает, превращая базовый текстовый генератор в функционального агента. К ним относятся: - доступ к файловой системе - выполнение команд - структурированные рабочие процессы - системный мониторинг Эта надежная структура гарантирует, что агент может надежно взаимодействовать со своей средой, автономно выполнять сложные задачи и развиваться, используя каждую ошибку LLM как возможность для структурного улучшения.

Фундаментальное изменение мышления в разработке агентов имеет решающее значение: отказ агента сигнализирует о недостатке в проектировании системы, а не о неадекватности LLM. Ведущие инженеры по агентам, такие как те, кто является пионером harness engineering, признают, что ожидание лучшей модели — это проигрышная стратегия. Вместо этого они рассматривают каждую ошибку как возможность укрепить структурную целостность агента, развивая оболочку агента, а не виня двигатель.

Это приводит к основному принципу: 'каждая ошибка становится правилом'. Если агент пытается выполнить деструктивную команду, инженеры не просто отменяют ее; они добавляют 'hook', чтобы предотвратить ее повторное выполнение. Когда агент неправильно понимает критически важное соглашение, это конкретное понимание кодифицируется в основные правила агента, что делает систему структурно более устойчивой к повторению этой ошибки. Mitchell Hashimoto, ключевая фигура в этом подходе, подчеркивает это итеративное усовершенствование.

Эта неустанная, основанная на ошибках итерация создает устойчивую, самосовершенствующуюся систему. LangChain впечатляюще улучшил показатель своего кодирующего агента Terminal Bench 2.0 с 52.8% до 66.5% исключительно за счет модификации harness, доказав влияние оболочки. Команда Codex от OpenAI, применяя аналогичные принципы, выпустила более миллиона строк производственного кода с помощью ИИ-агентов за пять месяцев, при этом люди проектировали среду. Таким образом, инженеры переходят от реактивных промптеров к проактивным системным архитекторам, полностью отвечая за надежную, развивающуюся производительность агента.

Анатомия высокопроизводительного harness начинается с AI layer, конечной оболочки, которую инженеры создают вокруг любой сессии кодирующего агента. Этот слой определяет контекст и процессы агента, включая несколько критически важных компонентов: - global rules: устанавливают соглашения и шаблоны для последовательного поведения. - skills: структурированные рабочие процессы, такие как `plan`, `implement` и `validate`, которые направляют сложные действия. - hooks: триггеры проверки безопасности, которые перехватывают действия или состояния. - sub-agents: специализированные автономные сущности, выполняющие конкретные задачи.

Harness engineering работает на двух различных уровнях. Первый уровень сосредоточен на совершенствовании этого AI layer для одной сессии агента, оптимизируя его непосредственную среду и взаимодействие. Второй уровень поднимает это, организуя несколько специализированных сессий агентов в единый, мощный рабочий процесс, обеспечивая надежное выполнение крупномасштабных задач и открывая значительные возможности.

Эти компоненты легко интегрируются. Например, skills определяют многоэтапный процесс для сложной реализации. Затем hook может запустить выделенного review sub-agent для проверки сгенерированного кода на соответствие стандартам качества и протоколам безопасности перед коммитом, активно предотвращая ошибки. Для более глубокого изучения этих архитектурных паттернов обратитесь к таким ресурсам, как Agent Harness Engineering - AddyOsmani.com. Этот систематический подход гарантирует, что система развивается из каждой ошибки.

Команда Codex от OpenAI предоставила раннее, убедительное подтверждение для harness engineering. Они выпустили более миллиона строк производственного кода, полностью написанного AI agents, всего за пять месяцев. Это монументальное достижение стало результатом не бесконечной тонкой настройки моделей, а проектирования людьми среды выполнения, использующими надежные принципы harness для управления поведением агентов.

Далее, демонстрируя эту мощь, LangChain значительно улучшил производительность своего кодирующего агента. Они повысили его оценку на Terminal Bench 2.0 с 52,8% до 66,5% — почти на 14% — изменив только оболочку агента, оставив базовую модель без изменений. Эти результаты однозначно подчеркивают, где находится реальный инженерный рычаг в разработке агентов.

Следовательно, быстро появляется новая критически важная роль: Harness Engineer. Также известные как AI Systems Engineer или Agent Platform Engineer, эти специалисты необходимы для создания устойчивой, надежной инфраструктуры, которая делает AI agents жизнеспособными на предприятии. Они сосредоточены на том, что система предотвращает, измеряет и исправляет, формируя поведение агента за пределами самой модели.

Овладение harness — это определяющий навык, который наконец-то устраняет разрыв между впечатляющими демонстрациями концепции и AI производственного уровня. Это путь к созданию по-настоящему автономных систем, которые являются надежными, масштабируемыми и, в конечном итоге, ценными, трансформируя то, как мы разрабатываем и развертываем интеллектуальные решения.

Что такое **harness engineering**?

Harness engineering — это дисциплина создания оболочки, или «harness», вокруг большой языковой модели. Это включает инструменты, правила, защитные механизмы и процессы, которые позволяют AI agent выполнять сложные задачи надежно и безопасно.

Чем **harness engineering** отличается от **context engineering**?

Context engineering сосредоточено на предоставлении модели правильной информации (что она знает). Harness engineering сосредоточено на построении системы вокруг модели, определяя ее возможности, ограничения и циклы исправления ошибок (что она может и чего не может делать).

Почему **harness** считается более важным, чем модель?

Обвязка определяет надежность и производительность агента. Анализ кода Claude показал, что 98% составляла обвязка, а не модель. Хорошо спроектированная обвязка может предотвращать ошибки, обеспечивать выполнение сложных многоэтапных задач и позволять менее мощной модели превосходить более мощную.

Каковы основные компоненты обвязки ИИ?

Обвязка обычно включает оркестрацию инструментов, циклы верификации (хуки), системы управления контекстом и памятью, защитные механизмы (guardrails) для безопасности и наблюдаемость для мониторинга производительности агента.