Три сценария финала, которые могут определить будущее AI

Закрытая внутренняя встреча, а не публичное заявление, как сообщается, обрисовала будущее искусственного интеллекта в резких тонах. Согласно The Information, генеральный директор OpenAI Сэм Альтман представил сотрудникам три «сценария финала» того, как индустрия может безопасно развивать все более мощный AI. Этот отчет, основанный на источниках, знакомых с внутренним обсуждением, подчеркивает центральное противоречие: как человечество может снизить глубокие риски продвинутого AI, не концентрируя контроль в руках одной организации или органа власти?

Правительства и передовые лаборатории в настоящее время пытаются справиться с ускоряющимися темпами развития AI и необходимостью надзора. Предложения, которые, как сообщается, обсуждал Альтман, подчеркивают продолжающиеся дебаты в индустрии о балансе между инновациями и безопасностью. Это не установленные политики, а скорее теоретические рамки, которые рассматриваются по мере того, как мир сталкивается с последствиями развития frontier AI.

Главный вопрос остается прежним: будет ли будущее суперинтеллекта демократически управляемым, монополизированным одной организацией или управляемым централизованным консорциумом? Ответы могут переопределить глобальные структуры власти и доступ к технологиям.

Альтернативный сценарий, который, как сообщается, поддерживает Альтман, сосредоточен на международной организации, подобной International Atomic Energy Agency (IAEA). Эта модель предлагает общие глобальные стандарты, интрузивные проверки и строгий контроль за разработкой мощного AI. Вместо того чтобы полагаться на обещания отдельных лабораторий, независимый орган будет проверять соблюдение требований безопасности и вычислительные пороги.

Альтман последовательно выступал за международное управление суперинтеллектом, в частности, в предложении OpenAI по управлению в 2023 году и во время выступления в Совете Безопасности ООН. Он утверждал, что критические решения о будущем AI не могут приниматься только несколькими лабораториями в Сан-Франциско. Эта публичная позиция согласуется с сообщаемой поддержкой структуры, вдохновленной IAEA.

Однако эффективность такого глобального арбитра сталкивается с геополитической стеной. Значимая верификация, при которой инспекторы получают доступ к проприетарным системам и конфиденциальным данным, потребовала бы беспрецедентного сотрудничества между странами-соперниками — в частности, United States and China. Учитывая, что обе сверхдержавы рассматривают AI как критически важную стратегическую гонку, создание доверия, доступа и механизмов обеспечения соблюдения, необходимых для по-настоящему независимого глобального надзорного органа, представляет собой огромную дипломатическую проблему.

Третий сценарий, так называемый Demis plan, предлагает радикальную консолидацию: объединение ведущих лабораторий AI в единое сотрудничество в стиле CERN. Этот подход, как сообщается, названный в честь генерального директора Google DeepMind Демиса Хассабиса, направлен на устранение конкурентного давления, которое в противном случае могло бы заставить лаборатории спешить с выводом систем на рынок до того, как будут полностью интегрированы комплексные меры безопасности. Цель — объединить усилия, развивая мощный AI осторожно и коллективно.

Это видение представляет собой заманчивый идеал, но его практические издержки велики. Такое колоссальное слияние столкнулось бы с огромными antitrust barriers и операционными сложностями, что серьезно сократило бы выбор для потребителей и сконцентрировало бы беспрецедентную исследовательскую мощь и полномочия по принятию решений в рамках одного института. Представьте себе единственную организацию, диктующую темп и направление самой трансформационной технологии человечества.

Критики справедливо отмечают, что координация даже между крупнейшими игроками не может гарантировать всеобщего сотрудничества со стороны каждого участника в глобальном масштабе. Хотя в названии предложения упоминается Hassabis, это не подразумевает его текущую поддержку полного слияния. Такой сценарий создает риск появления беспрецедентного органа власти, единой точки отказа, которая может стать неоспоримой силой. Чтобы узнать больше о внутренних дискуссиях, прочитайте оригинальный репортаж The Information: Altman Describes Three Endgames for AI, Including One Where a Single Firm 'Melts Everyone Else's GPUs'.

Последний и самый тревожный сценарий, который, как сообщается, описал Altman, заключается в том, что одна компания первой достигает рекурсивного самосовершенствования (RSI). Это не гарантированный интеллектуальный взрыв, а теоретическая петля обратной связи: система ИИ быстро расширяет свои собственные возможности, потенциально опережая исследователей-людей.

Результат? Единая организация получает настолько решающее преимущество, что может, как метафорически выразился Altman, «расплавить GPU всех остальных». Эта фраза олицетворяет ситуацию, когда первопроходец получает достаточно технологической или экономической власти, чтобы фактически вывести из строя конкурентов, остановив их разработки в области передового ИИ. Сообщается, что Altman назвал это «ужасным», что является суровым предупреждением против односторонней монополии в сфере ИИ.

Тем не менее, все три описанных сценария — надзорный орган по образцу IAEA, слияние в стиле CERN и монополия, «плавящая GPU», — имеют общую черту: централизацию власти. В отчете The Information также подчеркивается обеспокоенность OpenAI по поводу потери конкурентного преимущества, противопоставляя дискуссии о безопасности коммерческим тревогам.

Это поднимает критический вопрос: кто определяет «безопасность» и чьи интересы являются приоритетными в этих предлагаемых мерах защиты? Настоящая безопасность требует:

• Прозрачных оценок
• Подотчетного надзора
• Множественных независимых проверок разработки мощного ИИ

Какие три сценария развития ИИ, по сообщениям, обсуждал Sam Altman?

Это создание международного органа по надзору за ИИ, общая организация для крупных лабораторий и сценарий, при котором одна компания получает решающее преимущество за счет рекурсивного самосовершенствования.

Что означает «расплавить GPU всех остальных»?

Это суровая метафора того, как доминирующий разработчик ИИ выводит из строя или иным образом препятствует конкурентам в использовании вычислительной инфраструктуры, необходимой для создания мощного ИИ.

Что такое рекурсивное самосовершенствование?

Это предлагаемая петля обратной связи, в которой ИИ помогает улучшать свой собственный дизайн или возможности, потенциально ускоряя дальнейшие улучшения.

Поддержал ли Sam Altman сценарий с GPU?

Нет. В отчете говорится, что он назвал этот сценарий «ужасным» и включил его как теоретическую возможность, а не как предпочтительный план.