Мечта о «темной фабрике» наткнулась на препятствие

Эксперимент Cole Medin с «темной фабрикой» обещал максимальную автономность разработки: на вход подается высокоуровневое описание, на выходе — готовое приложение в продакшене без участия человека. Medin, как и многие другие, представлял себе систему, способную взять на себя задачу, реализовать ее, протестировать и развернуть без вмешательства. Однако эта мечта наткнулась на препятствие.

Одни лишь более совершенные модели не решают основную проблему. Medin утверждает, что даже при наличии AGI «темная фабрика» обречена на провал, поскольку люди не могут полностью сформулировать свои намерения. Агенты не способны надежно выводить невысказанные потребности клиентов или критические приоритеты обслуживания, что создает фундаментальное «бутылочное горлышко», которое продвинутые LLM не могут преодолеть, просто став «умнее».

Код, созданный агентами, часто страдает от sprawl (разрастания), а механизмы самопроверки нередко лишь закрепляют существующие ошибки. Это не ограничение возможностей модели, а более глубокая проблема намерений и maintainability (поддерживаемости). Без человеческого контроля архитектурные несоответствия накапливаются, превращая кодовую базу в хрупкую и трудноуправляемую структуру.

Основной изъян, который обнаружил Medin при создании собственного AI-репетитора на базе RAG, заключается в том, что автономный агент не умеет читать мысли. Он может выполнять задачи, но ему трудно по-настоящему понять нюансы и часто невысказанные требования, которые определяют успешный и устойчивый программный продукт. «Темная фабрика» по своей сути исключает важнейший человеческий элемент, обеспечивающий этот контекст.

Вместо концепции «темной фабрики», работающей в режиме «один запуск — полный цикл», AI Software Factory от Medin использует другой подход. Человек планирует релиз, а агенты автономно выполняют задачи по тикетам, но в рамках жестко ограниченного, управляемого человеком цикла. Это не полный отказ от контроля, а стратегическое переосмысление границ.

Ключевое понимание: цикл «задача — pull request» может оставаться автоматизированным, но роль человека до и после этого цикла остается первостепенной. Люди определяют намерения, устанавливают защитные барьеры и проверяют результат, превращая неограниченные амбиции в рабочий процесс, готовый к продакшену. Это уменьшает «зону поражения» при любой ошибке агента.

Medin подчеркивает, что это не vibe coding. Для обеспечения безопасности и надежности автономной работы требуется серьезная предварительная harness engineering (разработка инфраструктуры тестирования), установка защитных барьеров и четко определенных процессов. Агенты работают с высокой степенью автономности только потому, что инженеры-люди тщательно подготовили их к успеху, гарантируя, что они не отклонятся от курса и сохранят целостность кодовой базы.

Решение Medin переводит человека из режима реактивной отладки в режим проактивного планирования. Вместо карт-бланша человек предоставляет Product Requirements Document (PRD) или архитектурный документ, определяющий эпик, который разбивается на 10–20 тикетов. Это предварительное планирование определяет не только то, что входит в объем работ, но и то, что явно не входит в него, не позволяя агентам действовать хаотично.

Затем фабрика берет это ограниченное описание, разбивает работу на отдельные тикеты и выстраивает зависимости. Это гарантирует, что задачи выполняются в разумном, последовательном порядке, а не путем угадывания агентами следующего шага. Это структурированный подход, позволяющий агентам сохранять высокую автономность в рамках четко заданных ограничений.

Важно отметить, что Medin включает в себя сценарии отложенного контроля (holdout scenarios). Эти тесты, проводимые после завершения реализации, остаются скрытыми от разработчика, что не позволяет агенту подстраивать свое решение под известный набор тестов. Эта независимая проверка надежности гарантирует, что фабрика не просто проходит собственную внутреннюю валидацию, а действительно создает надежный код. Подробнее о спектре автономности см. статью Dan Shapiro The Five Levels: From Spicy Autocomplete to the Software Factory.

Такое сочетание определенных человеком задач и автономного исполнения в паре с независимой валидацией создает «темную» фабрику программного обеспечения (dark software factory), которая поставляет надежный код. Это прагматичная эволюция, которая переводит мечту об автономной разработке ПО в плоскость того, что действительно работает сегодня.

Этот прагматичный подход — агенты, выполняющие отдельные задачи (тикеты), автоматизированные проверки и независимая валидация для оценки результата, а также люди, определяющие объем выпуска и проверяющие значимые результаты — соответствует более устойчивому пути развития агентной инженерии. Вместо единой монолитной «темной фабрики», пытающейся выполнить высокоуровневую задачу от начала до конца, подход Medin распределяет автономность при сохранении критически важного человеческого контроля.

Уровни автономности Dan Shapiro здесь служат полезной структурой. Вместо того чтобы измерять прогресс исключительно достижением пятого уровня (развертывание без участия человека), стратегия Medin нацелена на высокую степень делегирования с использованием значимых контрольных этапов. Это означает, что агенты работают с существенной автономностью при выполнении отдельных задач, но проверка человеком остается окончательной контрольной точкой для интеграции работы и подтверждения намерений.

Этот компромисс требует предварительных усилий по разработке надежных инструментов и циклов валидации, но он предотвращает искажение намерений и деградацию кодовой базы, которые преследуют полностью автономные системы. Хотя мечта о «темной фабрике» с полностью автоматизированной разработкой без участия человека зашла в тупик, будущее агентной инженерии заключается в этих тщательно выстроенных циклах обратной связи между человеком и ИИ.

Читатели, интересующиеся практическими аспектами этой модели, могут изучить open-source репозиторий Archon от Medin или глубже погрузиться в структуру автономности Shapiro.

Что такое ИИ «темная фабрика»?

Это предлагаемый рабочий процесс разработки ПО, при котором агент превращает высокоуровневое описание продукта в код и выпускает его с минимальным участием человека или вовсе без него.

Почему Cole Medin говорит, что «темные фабрики» терпят неудачу?

Агенты могут создавать программное обеспечение, не понимая невысказанных намерений, а их код может отклоняться от целей или становиться трудным в поддержке.

Что такое ИИ фабрика программного обеспечения?

Это более контролируемый рабочий процесс, который дает агентам ограниченные задачи, в то время как люди направляют планирование и сохраняют важные контрольные точки валидации.

Что такое сценарии отложенного контроля (holdout scenarios)?

Это оценочные тесты, которые скрываются от агента-исполнителя до момента валидации, что снижает риск того, что он подгонит свой код под известные тесты.