Предупреждение Anthropic на триллион долларов

Дарио Амодей, генеральный директор Anthropic, выступил с суровым предупреждением: добровольная безопасность ИИ — опасная иллюзия. Он требует не что иное, как обязательное государственное вмешательство, представляя себе регулирующий орган с полномочиями полностью блокировать развертывание небезопасных моделей. Это не просьба о мягком надзоре; это призыв к созданию Федерального управления гражданской авиации (FAA) для ИИ, уполномоченного обеспечивать соблюдение стандартов безопасности со всей строгостью закона, выходя далеко за рамки простой прозрачности или самоуправления.

Подумайте о дерзости: лидер в безжалостной гонке ИИ активно выступает за то, чтобы судья замедлил работу его собственной компании. В эксклюзивном интервью Амодей представил это не как выбор, а как отчаянную необходимость. Он признает, что ответственность лежит на разработчиках, но настаивает на том, что экспоненциальный прогресс ИИ опередил существующие меры безопасности, создавая риски, которые может смягчить только внешнее, авторитетное вмешательство. Это беспрецедентное обращение выявляет глубокое беспокойство в высших эшелонах индустрии.

Предложение Амодея конкретно, а не абстрактно. Он нацелен на «пограничные модели» — системы ИИ, обученные с использованием более 10^25 операций с плавающей запятой (FLOPs) — как на конкретный триггер для этого строгого надзора. Предварительная версия Claude Mythos его собственной компании, которая выявила тысячи уязвимостей программного обеспечения, послужила поворотным моментом, продемонстрировав непосредственные, ощутимые опасности неконтролируемого ИИ. Это не теоретические переживания; это прямой ответ на уже наблюдаемые возможности.

Момент, когда генеральный директор Anthropic Дарио Амодей по-настоящему осознал масштаб скрытой мощи ИИ, не был теоретическим; это было создано внутри компании. Claude Mythos, большая языковая модель, разработанная для поиска уязвимостей программного обеспечения, стала леденящим душу тревожным звонком для Anthropic. Во время тестирования Mythos использовал тысячи ошибок и дефектов в основных операционных системах и браузерах, демонстрируя кибернаступательную способность, намного превосходящую ожидания.

Эта внутренняя демонстрация мощных, двойного назначения возможностей ИИ быстро переросла в геополитические опасения для Амодея. Он явно не доверяет Китаю, спрашивая: «Представьте, если бы Китай создал Mythos?» Он представлял себе, как противники используют такой инструмент для нападения на США или для помощи: - России в Украине - Ирану - Северной Корее

Мощь модели, содержащаяся в Anthropic, подчеркнула ужасающие возможности, если такая технология попадет в чужие руки.

Mythos, никогда не выпускавшийся публично, безвозвратно изменил внутренний дискурс в Anthropic. Катастрофические риски ИИ больше не были абстрактными; они были ощутимыми, продемонстрированными и были созданы самой компанией. Это прямое столкновение с неминуемой, самогенерируемой угрозой укрепило убеждение Амодея в том, что добровольные меры безопасности недостаточны, требуя надежного, глобального регулирования в стиле FAA.

Амодей беспокоится не только об экзистенциальных угрозах ИИ; он также обеспокоен его экономическими последствиями. Его предложения по смягчению потрясений на рынке труда варьируются от прагматичных краткосрочных решений до по-настоящему радикальных долгосрочных преобразований. Речь идет не только о вытеснении рабочих мест; речь идет о фундаментальном изменении того, как мы ценим человеческий труд.

В ближайшем будущем Амодей предлагает государственные меры, такие как wage reinsurance, стимулы для удержания сотрудников, чтобы предотвратить увольнения, и улучшение страхования по безработице. Эти меры направлены на сглаживание того, что он называет «неровным, но относительно обычным переходом». Но «обычное» может закончиться; в долгосрочной перспективе он отстаивает более смелые концепции, такие как Universal Basic Income (UBI) или универсальные капитальные счета.

Финансирование таких обширных систем социальной защиты требует столь же смелого мышления. Амодей прямо предлагает повысить налоги на прирост капитала, ввести прямые налоги на компании, занимающиеся ИИ, или увеличить корпоративный налог в целом. Это не скромные корректировки; они представляют собой фундаментальное перераспределение богатства, генерируемого бумом ИИ. Более подробную информацию об этих областях политики можно найти в подробном Policy on the AI Exponential - Anthropic.

Anthropic не просто говорит. Компания выделила значительные 350 миллионов долларов на решение проблемы экономического сбоя, вызванного ИИ, включая специализированный Economic Futures Research Fund. Эти инвестиции прочно позиционируют Anthropic как компанию, которая подкрепляет слова делом, активно исследуя влияние ИИ на рабочие места и пилотируя потенциальные решения в области государственной политики.

Страстный призыв Амодея к государственному вмешательству, хотя и представленный как императив общественной безопасности, несет в себе отчетливый оттенок стратегического маневрирования. Его предложение о регулировании в стиле FAA, дающем правительству право блокировать небезопасные модели ИИ, повлечет за собой колоссальные затраты на соблюдение требований. Это не только о безопасности; это потенциальная заморозка рынка, создающая непреодолимый барьер для зарождающихся стартапов в области ИИ и укрепляющая strategic moat для хорошо капитализированных игроков, таких как Anthropic, которые уже могут похвастаться надежными системами безопасности и значительными инвестициями в НИОКР, включая 350 миллионов долларов, выделенных на решение проблемы экономического сбоя, вызванного ИИ.

Это видение резко контрастирует с нынешней американской реальностью. Администрация President Trump'а отдавала предпочтение «мягкому» подходу к управлению ИИ, что привело к фрагментированному регулированию. Амодей требует беспрецедентных федеральных полномочий для остановки развертывания, что сильно отличается от сегодняшнего лоскутного одеяла появляющихся законов штатов и добровольных рекомендаций.

В конечном итоге, бренд Anthropic, ориентированный на «безопасность прежде всего», является хитрым конкурентным преимуществом. В отличие от конкурентов, таких как OpenAI и Google, этот нарратив позиционирует Anthropic как ответственного управляющего передовым ИИ. Поскольку компания нацелена на масштабное IPO, эта принципиальная позиция не просто альтруистична; это мощный актив, привлекающий инвесторов и клиентов, которые отдают приоритет этическому развитию на быстро развивающемся рынке с высокими ставками.

Почему CEO Anthropic призывает к регулированию ИИ?

Дарио Амодей считает, что ИИ развивается настолько быстро, что представляет катастрофические риски, такие как создание биооружия или крупномасштабные кибератаки, которые добровольные отраслевые меры не могут сдержать.

Что такое модель «FAA для ИИ», которую предлагает Амодей?

Он предлагает создать государственный орган с полномочиями проводить обязательное техническое тестирование и блокировать развертывание «передовых моделей ИИ», которые считаются неприемлемо опасными, аналогично тому, как FAA регулирует безопасность авиации.

Что такое Claude Mythos и почему это важно?

Claude Mythos — это модель ИИ от Anthropic, разработанная для поиска уязвимостей в программном обеспечении. Его способность обнаруживать тысячи критических ошибок убедила Амодея, что такие мощные инструменты требуют глобального регулирования для предотвращения неправомерного использования злоумышленниками.

Как Амодей предлагает справляться с влиянием ИИ на рабочие места?

Он предлагает краткосрочную государственную поддержку, такую как перестрахование заработной платы и улучшенные пособия по безработице, а также долгосрочные идеи, такие как универсальный базовый доход, финансируемый за счет новых налогов на AI-компании или прирост капитала.