Забудьте о Skynet: что на самом деле означает RSI
Рекурсивное самосовершенствование (RSI) — это не разумный Skynet, переписывающий свой код без ограничений. Скорее, это описание систем ИИ, которые вносят вклад в исследования, написание кода, сбор данных или разработку методов, используемых для создания последующих поколений ИИ. Это предполагает человеческий контроль, а не автономный, бесконтрольный интеллект.
Дэвид Шапиро, известный комментатор в области ИИ, предлагает прагматичный показатель для RSI: какая доля разработки следующего поколения приходится на помощь ИИ? Он предполагает, что в 2026 году ИИ может обеспечить 30% собственного прогресса, а к 2027 году эта цифра может вырасти до 50-80%, охватывая код, данные и математические алгоритмы. Это оценочные данные, а не подтвержденные отраслевые показатели.
Забудьте о кинематографических сценариях побега. Модели ИИ работают на реальной инфраструктуре, а не в абстрактном «облаке», откуда они могут заразить каждое устройство, подключенное к интернету. Мощные модели требуют огромных дата-центров, специализированного оборудования, такого как GPU, и значительных энергозатрат, что не позволяет им спонтанно распространяться или работать на потребительских устройствах, таких как смартфоны. Этот факт часто упускается из виду в художественных произведениях, таких как «Терминатор» или «Миссия невыполнима: Смертельная расплата».
Петля обратной связи уже формируется
Петли обратной связи уже формируются, хотя и не так драматично, как в научной фантастике. Модели теперь помогают писать код, генерировать и оценивать данные, а также тестировать системы. Они также поддерживают математические рассуждения, ускоряя циклы разработки. Однако люди по-прежнему ставят цели и внедряют результаты.
Этот инкрементальный цикл опирается на такие системы, как работа OpenAI в области автоматизированной математики и AlphaProof Nexus от Google DeepMind. Последняя объединяет LLM класса Gemini с интерактивным средством доказательства теорем Lean 4, решая открытые гипотезы Пола Эрдёша, которые оставались нерешенными десятилетиями. Эти возможности полезны, но они не подтверждают наличие автономного, самоподдерживающегося рекурсивного самосовершенствования.
Анонсы и отчеты от OpenAI, Google и Anthropic указывают на значительную активность в этой области. Эти отчеты служат доказательством прогресса в разработке с помощью ИИ, а не доказательством появления неконтролируемого интеллекта. Основное внимание по-прежнему уделяется вкладу ИИ в собственное развитие под контролируемым руководством человека.
Почему доказательства могут открыть путь к чему-то большему, чем просто лучший код
Формальная верификация предлагает мощный и особый подход к проверке результатов работы ИИ. Вместо того чтобы просто генерировать правдоподобный текст или код, формальная верификация математически проверяет, строго ли система, доказательство или фрагмент кода соответствуют явным, заранее определенным правилам. Этот процесс направлен на устранение двусмысленности и обеспечение корректности, что укрепляет доверие к решениям, созданным ИИ.
Этот строгий метод открывает огромные перспективы для исследований в области ИИ, особенно в сферах, требующих абсолютной уверенности. Например, AlphaProof Nexus от Google DeepMind объединяет большие языковые модели с интерактивным средством доказательства теорем Lean 4. Эта система успешно решила несколько открытых гипотез Пола Эрдёша, некоторые из которых оставались нерешенными более 50 лет, создавая математические доказательства, проверяемые машиной и свободные от галлюцинаций.
Последствия выходят далеко за рамки математики. Проверенные вычисления могут ускорить открытия в следующих областях:
- Материаловедение
- Медицина
- Проектирование чипов
- Технологии аккумуляторов
Тем не менее, formal verification — это не панацея. Этот процесс остается вычислительно затратным и критически зависит от точно сформулированных задач. Хотя он гарантирует соблюдение заданных правил, он не может подтвердить правильность исходных предположений модели или гарантировать точность ее выводов в реальном мире. Подробнее о более широкой концепции см. Recursive self-improvement - Wikipedia.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Быстрый цикл обратной связи все равно упирается в физические ограничения
David Shapiro, исследователь в области AI, опровергает нарративы о внезапном захвате мира искусственным интеллектом, подчеркивая, что прогресс, хотя и быстрый, остается привязанным к физической реальности. Масштабирование AI по-прежнему зависит от чипов, дата-центров, энергии, сетевой инфраструктуры и производства — все это ограничивает скорость расширения систем. Человеческие решения также определяют распределение ресурсов, предотвращая неконтролируемый «быстрый взлет» (fast takeoff).
По мере того как системы AI приобретают новые возможности, такие как написание кода, математические рассуждения и работа с файлами, становится очевидным emergence through recombination (эмерджентность через рекомбинацию). Объединение этих отдельных инструментов позволяет создавать сложные и полезные рабочие процессы, которые не были явно запрограммированы как единые задачи. Например, AI может самостоятельно генерировать код, тестировать его, а затем проводить formal verification результата на соответствие спецификациям.
Исследования с поддержкой AI, вероятно, ускорят научный прогресс, распространяясь на дисциплины за пределами computer science. Однако это ускорение порождает критические и нерешенные вопросы. Мы должны разобраться с проблемами контроля, alignment, formal verification и огромной инфраструктурой, необходимой для поддержки этих все более способных систем.
Часто задаваемые вопросы
Что такое recursive self-improvement в AI?
Это описание систем AI, которые помогают разрабатывать или улучшать последующие системы AI с помощью таких задач, как написание кода, тестирование, генерация данных и исследования.
Означает ли recursive self-improvement, что AI внезапно вырвется в интернет?
Нет. Это не означает, что AI может свободно распространяться по интернету; мощные системы зависят от аппаратного обеспечения, вычислительных ресурсов и инфраструктуры, управляемой людьми.
Почему formal verification важна для исследований в области AI?
Formal verification использует математические методы для проверки того, соответствуют ли программное обеспечение или доказательства точным спецификациям, что делает этот метод ценным для надежности и научной работы.
Могут ли исследования с поддержкой AI повлиять на области за пределами разработки ПО?
Потенциально. Улучшенные способности к рассуждению и верификации могут помочь исследователям в таких областях, как математика, материаловедение и науки о жизни.