ИИ теперь строит себя сам. Anthropic напуган.

Недавняя статья Anthropic, 'When AI Builds Itself', подробно описывает критическую, ускоряющуюся тенденцию: системы ИИ теперь делегируют растущую долю своего собственного развития другим ИИ. Это явление, названное recursive self-improvement, предполагает будущее, в котором ИИ автономно проектирует и разрабатывает своих собственных преемников. Статья иллюстрирует замыкающуюся петлю, показывая прогрессию от разработчиков, напрямую кодирующих модели, такие как Claude, до продвинутых агентов и субагентов, занимающихся сложными исследованиями и генерацией кода. Эта абстракция означает, что люди все больше отдаляются от прямого процесса создания.

Anthropic выпускает суровое предупреждение: общество фундаментально не готово к этому глубокому сдвигу. Они выступают за значительное замедление развития ИИ, подчеркивая экзистенциальные риски и потенциальную потерю человечеством контроля над этими все более способными системами. Эта эскалация представляет собой серьезную alignment problem, которая требует немедленного глобального внимания, прежде чем она станет необратимой.

Мэтью Берман, известный ИИ-комментатор и ведущий Forward Future AI, предлагает острое контр-повествование. Берман характеризует публичный призыв Anthropic к замедлению как «невероятно эгоистичный». Он подразумевает, что такая просьба о безопасности от ведущей ИИ-фирмы, хотя и кажется альтруистичной, может стратегически принести пользу ее конкурентной позиции в условиях жесткой конкуренции на мировом рынке разработки ИИ.

Ландшафт разработки программного обеспечения изменился с головокружительной скоростью. Всего несколько лет назад создание первого Claude включало в себя прямое написание кода и документации разработчиками-людьми на ноутбуках, что было знакомым процессом, отражающим традиционные операции технологических компаний. Эта эра характеризовалась прямым взаимодействием человека с компьютером, при этом каждая строка кода была явно написана человеком.

Момент ChatGPT ознаменовал поворотный сдвиг в последующие годы. Разработчики перешли от прямого кодирования к подсказкам чат-ботам, общаясь с системами ИИ, которые затем генерировали код. Люди начали сообщать о высокоуровневых намерениях, а не диктовать точный синтаксис, фундаментально абстрагируя свое участие от непосредственного процесса разработки.

Текущие тенденции ускоряют эту абстракцию в эру coding agents 2025-2026 годов. Один человеческий запрос теперь делегирует сложные задачи роям ИИ-субагентов, или «работников», организуя параллельную разработку в беспрецедентном, массовом масштабе. Эта парадигма смещает роль разработчика от непосредственного кодера к стратегическому дирижеру, управляющему автономными ИИ-сущностями, которые выполняют сложные задачи программирования.

Это растущее отстранение человеческого участия подпитывает экспоненциальный рост объема и сложности программного обеспечения. Краткий человеческий запрос теперь может породить огромный объем кода, намного превышающий то, что мог бы произвести любой отдельный разработчик, что способствует как масштабу, так и сложности проектов. Длина надежного выполнения задач ИИ-агентами теперь удваивается примерно каждые четыре месяца, ускоряясь по сравнению с предыдущей семимесячной тенденцией, что фундаментально меняет саму природу создания программного обеспечения.

Внутренние метрики ИИ показывают поразительный всплеск возможностей. Длина задач, которые ИИ-агенты надежно выполняют, теперь удваивается каждые четыре месяца, что является значительным ускорением по сравнению с предыдущим семимесячным темпом удвоения. Этот экспоненциальный рост сигнализирует о глубоком сдвиге, делая термин acceleration engine пугающе буквальным и подчеркивая быстрый темп развития.

Прогнозы Anthropic ярко иллюстрируют это быстрое расширение операционного охвата ИИ. В марте 2024 года системы ИИ справлялись с человеческими задачами продолжительностью около четырех минут. К началу 2026 года эти же системы, по прогнозам, будут решать сложные 12-часовые задачи, демонстрируя ошеломляющий рост как выносливости, так и автономности в решении проблем. Эта траектория сжимает годы прогресса, движимого человеком, в считанные месяцы.

Ключевым моментом является то, что способность ИИ воспроизводить новые исследования демонстрирует аналогичное драматическое улучшение. На бенчмарке Core Bench системы ИИ достигли всего 20% успеха в репликации передовых исследований ИИ всего 15 месяцев назад. Сегодня эта цифра приближается к 100%, что указывает на приближающееся мастерство саморепликации и генерации знаний. Этот быстрый прогресс лежит в основе опасений Anthropic по поводу recursive self-improvement, подробно описанных в их статье When AI Builds Itself: Our Progress Toward Recursive Self-Improvement and Its Implications, поскольку ИИ обретает способность независимо проверять и продвигать свои собственные границы.

ИИ в настоящее время демонстрирует беспрецедентную силу в engineering, тщательно выполняя сложные задачи и масштабно оптимизируя существующие решения. Он может генерировать огромные объемы кода, организовывать сложные рабочие процессы разработки и распараллеливать усилия между многочисленными субагентами. Однако его фундаментальное ограничение сохраняется в research, особенно в генерации по-настоящему новых идей или независимом определении стратегических целей.

Полная автономия зависит от критически важного недостающего ингредиента: способности проявлять тонкое суждение и обладать изысканным «вкусом» в исследованиях. Системы ИИ в настоящее время лишены интуитивной проницательности для выявления действительно многообещающих направлений или решительного определения что строить дальше, выходя за рамки просто как это построить. Эта важнейшая творческая функция постановки целей остается исключительно в компетенции человека.

Как только ИИ освоит этот последний, неуловимый шаг творческого мышления и формулирования целей, роль человека в цикле разработки полностью исчезнет. Процесс recursive self-improvement тогда станет полностью самоподдерживающимся и автономным. В этот переломный момент единственное оставшееся ограничение на темпы эволюции ИИ сместится исключительно на доступность необработанной мощности compute и инфраструктуры.

Что такое **recursive self-improvement** в ИИ?

Recursive self-improvement — это процесс, при котором система ИИ становится способной автономно проектировать и разрабатывать своих собственных, более продвинутых преемников, создавая ускоряющийся цикл прогресса с минимальным вмешательством человека.

Почему Anthropic обеспокоен тем, что ИИ строит себя?

Anthropic считает, что эта возможность может значительно увеличить риски потери контроля человеком над передовыми системами ИИ. Они утверждают, что это создает серьезную проблему согласования, с которой общество не готово справиться, что требует замедления разработки.

Что такое AI coding agents?

AI coding agents — это автономные системы ИИ, которые могут писать, отлаживать и внедрять код для решения сложных задач разработки программного обеспечения. Они представляют собой сдвиг, при котором люди делегируют инженерные проблемы ИИ, а не пишут код сами.

Что является «недостающим ингредиентом» для полного самосовершенствования ИИ?

Согласно анализу, недостающим ингредиентом является истинная новизна и суждение. В то время как ИИ превосходно справляется с выполнением четко определенных задач (engineering), в настоящее время он испытывает трудности с генерацией оригинальных исследовательских идей и принятием решений о том, какие цели преследовать дальше.