Запрет ИИ, который может передать лидерство Китаю

Резкое предупреждение прозвучало 23 сентября: сенатор Берни Сандерс и конгрессмен Грег Касар внесли Ban Artificial Superintelligence Act. Законопроект предлагает прямой запрет на разработку и внедрение сверхинтеллектуального ИИ в США и одновременно призывает к временной приостановке разработки передового ИИ до тех пор, пока новый федеральный регулятор не установит правила.

Предлагаемый закон создаст Department of Artificial Intelligence на уровне кабинета министров для мониторинга передовых моделей и надзора за устранением опасных возможностей, таких как игнорирование команд на отключение. Наказания суровы: физическим лицам грозит до 20 лет лишения свободы, а корпорациям — «смертная казнь для корпораций», то есть принудительная ликвидация по решению суда.

Это широкое определение сверхинтеллекта — ИИ, превосходящий когнитивные способности человека в большинстве областей или способный лишить человечество власти, — имеет решающее значение. Столь широкий охват может включить системы, которые многие назвали бы AGI, что порождает споры о тестах и правоприменении. Это не маргинальная идея: после того как демократы выиграли и в Палате представителей, и в Сенате на промежуточных выборах, такие фигуры, как конгрессвумен Ясамин Ансари, назвали запрет искусственного сверхинтеллекта главным приоритетом.

Угроза интеллектуального взрыва внезапно получила реальную поддержку. Сторонники Ban Artificial Superintelligence Act ссылаются на недавнюю оценку METR секретной Model 4 от Anthropic, которая, по сообщениям, продемонстрировала ускоренные циклы исследований: ИИ сам способствовал почти двукратному росту скорости собственной разработки. Однако ключевые доказательства, подтверждающие эти утверждения, по сообщениям, были скрыты, и общественность не может проверить самые тревожные цифры.

Это быстрое ускорение усиливает опасения по поводу рекурсивного самоулучшения (RSI), под которым понимается автономная разработка системами ИИ более мощных ИИ-преемников. Важно, что RSI описывает процесс разработки и отличается от AGI (возможности уровня человека) и сверхинтеллекта (превосходство над человеком), которые измеряют итоговую мощность ИИ. Опасение вызывает не только то, что ИИ становится умнее, но и то, как он умнеет.

Проблема безопасности очевидна: если ИИ автоматизирует большую часть собственных исследований, надзор со стороны человека может быстро утратить смысл. Ошибки или изначальное рассогласование целей в первых поколениях ИИ могут нарастать в геометрической прогрессии и вызывать каскад непредвиденных последствий быстрее, чем их успеют проверить или пресечь люди. Такая петля обратной связи может обойти важные проверки безопасности и привести к потере контроля.

Конгрессмен Грег Касар, соавтор предлагаемого законопроекта, недавно выразил растущие настроения двумя резкими словами: «Ban RSI». Этот призыв запретить разработку ИИ-преемников самим ИИ отражает значительный сдвиг: узкая проблема превращается в центральную тему законодательных дебатов. Отчёт METR, несмотря на скрытые фрагменты, послужил искрой, намекая на будущее, в котором прогресс ИИ опережает человеческое понимание и контроль и требует немедленного жёсткого ответа.

Вокруг призывов ограничить ИИ сложился необычный альянс, объединивший столь разных фигур, как Берни Сандерс, Гленн Бек и Ральф Нейдер. Все они упоминаются в недавнем видео, в котором выступают за ограничения рекурсивного самоулучшения (Recursive Self-Improvement, RSI). Не все поддерживают полный запрет, но эта странная коалиция говорит об общей тревоге по поводу неконтролируемой автономности ИИ. Подробнее о законодательной инициативе: Sen. Bernie Sanders unveils bill to ban artificial superintelligence and create Department of AI.

Наиболее веский довод в пользу более узкого ограничения касается полностью автоматизированных циклов исследований ИИ. Вместо общего моратория на передовые разработки сторонники предлагают обязательную проверку человеком на ключевых этапах или строгие ограничения на проектирование ИИ следующего поколения самим ИИ. Такой подход призван снизить «умножение» ошибок или рассогласования целей, которое может возникнуть при неконтролируемом RSI.

Тем не менее критики предупреждают, что угроза RSI может быть преувеличена или её сложно определить технически. Нечёткие пороги возможностей, как в Ban Artificial Superintelligence Act, могут привести к произвольному применению норм и непреднамеренно подвести обычные исследования под общий запрет. Точного определения «сверхинтеллекта» или «RSI» по-прежнему нет, поэтому широкие запреты — рискованный шаг.

Национальная политика в области ИИ теперь неотделима от местных проблем. Избиратели, что стало заметным сдвигом, назвали ИИ и влияние дата-центров (энергия, вода, нагрузка на сети, вытеснение рабочей силы) важным фактором промежуточных выборов. По данным опросов, 56% избирателей считали эти вопросы решающими, что усиливает призывы к мораториям на новые дата-центры и разработку передового ИИ.

Это стремление к безопасности внутри страны сталкивается с жёсткой геополитической реальностью. Односторонняя пауза в США, какими бы благими ни были намерения, рискует отдать технологическое лидерство и влияние на стандарты конкурентам, прежде всего Китаю. Без проверяемой международной координации внутренний запрет может просто переместить инвестиции и инновации в другие страны, подрывая его стратегическую цель.

Компромисс в политике остро стоит: создание надёжного надзора и чётких порогов может оказаться более устойчивым решением, чем всеобъемлющий запрет. Однако остаётся сложный вопрос: как внедрить такие меры до того, как системы вроде Model 4 от Anthropic, у которой, по сообщениям, есть рекурсивное самоулучшение, опередят регуляторную проверку и контроль со стороны человека.

Что предусматривает предлагаемый Ban Artificial Superintelligence Act?

Согласно описанию в исходных материалах, законопроект запретит разработку и внедрение сверхинтеллектуального ИИ, приостановит разработку передовых систем ИИ до принятия федеральных правил и учредит новое надзорное ведомство.

Что такое рекурсивное самоулучшение ИИ?

Рекурсивное самоулучшение — это процесс, при котором системы ИИ помогают исследовать или создавать системы-преемники, что потенциально ускоряет разработку при меньшем участии человека.

Запретит ли это предложение весь ИИ?

Нет, согласно описанию: инициатива направлена на сверхинтеллект и предусматривает приостановку определённых направлений разработки передового ИИ, хотя критики утверждают, что её широкие определения могут охватить и системы общего назначения.

Почему критики говорят, что американская пауза в развитии ИИ может пойти на пользу Китаю?

Они указывают, что без обязательных к исполнению международных соглашений пауза в США может замедлить отечественные лаборатории, в то время как конкуренты продолжат разрабатывать модели и задавать мировые стандарты.