Расчётливый хаос Anthropic

Anthropic, гигант в области ИИ, недавно погрузилась в самопричиненный водоворот, демонстрируя своеобразную готовность к хаосу. Разработчики первыми обнаружили вопиющий обман: Anthropic тайно перенаправляла сложные исследовательские запросы в области ИИ и машинного обучения от своей передовой модели Fable 5, публичного лица Mythos 5, к заведомо более старой и менее мощной Opus 4.8. Эта недобросовестная практика, якобы предназначенная для предотвращения рекурсивного самосовершенствования, немедленно подорвала доверие среди ее пользователей. Разразилась широкая негативная реакция разработчиков, многие из которых обвиняли Anthropic в преднамеренном ослаблении конкурентов и подавлении инноваций под видом безопасности.

Последствия резко усилились после уведомления исследовательской группы Amazon правительства США о критическом джейлбрейке. Anthropic, с поразительным проявлением неповиновения, отказалась исправлять уязвимость, публично назвав ее «незначительной проблемой». Этот отказ спровоцировал быстрый и суровый ответ: Министерство торговли США издало глобальный запрет на Mythos и Fable для всех неграждан США. Не имея инфраструктуры для различения национальностей пользователей, Anthropic в одностороннем порядке расширила запрет, заблокировав доступ к своим флагманским моделям для всех. Эта последовательность событий, от скрытой маршрутизации моделей до полного отказа сотрудничать с государственными требованиями безопасности, рисует мрачную картину организации, действующей по своим собственным, часто озадачивающим, правилам.

Спорные действия Anthropic, перенаправление сложных исследовательских запросов AI/ML от Fable 5 к более старой Opus 4.8, противоречат обычной рыночной логике. Речь идет не об ослаблении конкурентов; это пугающе рациональный ответ на глубоко укоренившийся идеологический страх перед гипотезой FOOM (быстрого взлета). Они считают, что неконтролируемое рекурсивное самосовершенствование, при котором ИИ быстро улучшает себя, является неминуемой экзистенциальной угрозой.

Это мировоззрение напрямую связано с руководством Anthropic, находящимся под сильным влиянием сообществ Effective Altruism и LessWrong. Такие деятели, как Eliezer Yudkowsky, ключевой сторонник, формулируют теории, такие как «коварный поворот» — ИИ, притворяющийся доброжелательным, прежде чем внезапно выйти из-под контроля. Для Anthropic это не абстрактные философские дебаты, а срочные предупреждения о надвигающейся катастрофе, вызванной ИИ.

С этой точки зрения, вывод из строя собственной модели становится расчетливой, хотя и крайней, превентивной мерой. Ограничивая способность Fable вносить вклад в передовые исследования AI/ML, Anthropic стремится замедлить глобальную гонку к рекурсивному самосовершенствованию, надеясь предотвратить запуск неудержимого взрыва интеллекта любым участником — ими самими или конкурентами. Их собственное исследование, показывающее, что Claude разработал 80% своего кода, подчеркивает их предполагаемую близость к этому порогу.

Действия Anthropic, хотя и кажутся самосаботажем, коренятся в ужасающем самоисполняющемся пророчестве. Их собственные тревожные результаты исследований, опубликованные всего за несколько недель до фиаско Fable 5, дают леденящее душу обоснование их крайних мер. Это не абстрактное предсказание конца света; это страх, основанный на данных, прямое следствие их собственного прогресса.

Внутренние отчеты показывают, что Claude уже пишет 80% собственного кода, что является ошеломляющим скачком к истинной автономии ИИ. Более того, подробные исследования Anthropic задокументировали, что разработчики достигают до 52-кратного улучшения оптимизации циклов при использовании Claude в своих циклах разработки. Это не просто показатели производительности; это яркие, количественно измеримые индикаторы ускоряющейся траектории к независимости машин, подтверждающие их глубочайшие опасения.

Эти данные превращают гипотезу «FOOM» (fast takeoff) из теоретических рассуждений в непосредственную, личную угрозу для Anthropic. Их руководство, глубоко погруженное в рамки экзистенциального риска эффективного альтруизма, рассматривает эти возможности не просто как функции продукта, а как тревожные звонки. Их собственные модели, особенно расширенные возможности Claude Fable 5 и Claude Mythos 5, предполагают, что они ближе к достижению рекурсивного самосовершенствования, чем, возможно, любая другая сущность. Их страх не внешний, а внутренний, подтвержденный самой технологией, которую они стремятся контролировать. Официальные заявления об этих моделях см. Claude Fable 5 and Claude Mythos 5 - Anthropic.

Дарио Амодей, генеральный директор Anthropic, недавно четко сформулировал самовосприятие своей компании, заявив, что «формальная политика слишком медленна» для этих «чрезвычайных обстоятельств». Это не просто критика бюрократии; это декларация односторонних действий, убеждение, что только Anthropic обладает дальновидностью и гибкостью для управления экзистенциальной угрозой. Они, по-видимому, считают себя единственными, кто способен отреагировать на «пожар» ИИ, который, по их мнению, они сами и начали.

Эта риторика воплощает глубокий синдром главного героя. Anthropic, глубоко погруженная в гипотезу FOOM и опасения рекурсивного самосовершенствования, считает, что должна «управлять изнутри». Их действия, включая тайную перенаправление запросов Fable 5 к Opus 4.8, отражают убеждение, что они являются единственной ответственной стороной в мире, единственными, кто способен держать в руках аварийный выключатель ИИ. Такое мышление оправдывает приостановку обычных процедур и рыночных ожиданий.

Здесь кроется основная этическая дилемма: допустимо ли, чтобы одна, ориентированная на прибыль корпорация, убежденная, что она выпустила на волю неконтролируемую технологическую силу, обходила установленное управление? Самопровозглашенная роль Anthropic как глобального предохранителя, решающего, когда и как вмешиваться, создает опасный прецедент. Речь идет не только о манипулировании рынком; речь идет о компании, в одностороннем порядке утверждающей контроль над технологической траекторией человечества.

В чем заключался скандал с Anthropic Fable 5?

Anthropic тайно ослабила свою модель Fable 5, чтобы замедлить исследования ИИ, перенаправляя сложные запросы к более старой модели. Это, в сочетании с отказом исправить обнаруженный «джейлбрейк», привело к глобальному запрету модели Министерством торговли США.

Что такое гипотеза FOOM?

FOOM, или «быстрый взлет», — это гипотеза Элиезера Юдковского, предполагающая, что ИИ может быстро и рекурсивно самосовершенствоваться, что приведет к внезапному «взрыву» интеллекта, который человечество не сможет контролировать.

Почему Anthropic опасается рекурсивного самосовершенствования?

Собственные исследования Anthropic показывают, что их модели достигают огромных приростов производительности и могут писать большую часть собственного кода. Они считают, что это ставит их на порог рекурсивного самосовершенствования, ключевой вехи, которую они рассматривают как предвестник опасного взлета ИИ (FOOM).

Кто такой Дарио Амодей?

Дарио Амодей является CEO Anthropic. Его недавние работы предполагают убеждение, что потенциальная угроза от AI представляет собой «чрезвычайное обстоятельство», при котором обычная политика и действия правительства слишком медленны.