Тревожное заявление: червь с мозгом ИИ
Может ли ИИ-агент автономно находить уязвимые устройства, устанавливать свое программное обеспечение и бесконечно распространяться без вмешательства человека? Этот вопрос лежит в основе недавних исследований самовоспроизводящихся ИИ-червей, которые объединяют две критически важные возможности. Такому червю потребовалась бы модель, достаточно компактная для работы на недорогом оборудовании, и агент, достаточно интеллектуальный, чтобы адаптироваться и устанавливать её в различных системах.
Команда Frontier Red Team компании Anthropic недавно исследовала эти компоненты, а не полноценного автономного червя, подобного Skynet из фильма The Terminator. Их работа анализирует части этого сложного сценария, тщательно тестируя отдельные требования, а не представляя уже готовую реальную угрозу. Это важное различие имеет решающее значение для понимания последствий исследования.
Исследователи изучили, может ли модель ИИ быть разделена на части (sharded) между 15 бюджетными Android TV-приставками, каждая из которых стоит около $55 и имеет всего 4 ГБ оперативной памяти. Они успешно запустили Gemma4-26B-A4B от Google, 4-битную квантованную модель, путем распределения её слоев, хотя и с низкой скоростью 0,39 токена в секунду. Это продемонстрировало возможность распределенного вывода на недорогом оборудовании.
Отдельно Anthropic протестировала способность ИИ-агента к распространению. В закрытой сети из 8 узлов Google Cloud Platform модель GLM-5.2 с 753 миллиардами параметров достигла автономной репликации в 4 из 5 попыток. Однако у целевых устройств порты Android Debug Bridge (ADB) были намеренно открыты, что упростило этап «взлома», чтобы сосредоточиться на задаче установки.
Пятнадцать ТВ-приставок запустили одну мучительно медленную модель
Первоначальная демонстрация оборудования Anthropic включала объединение в сеть 15 бюджетных Android TV-приставок, каждая из которых стоила примерно $55. Эти устройства, часто встречающиеся в домах, обладали ограниченной вычислительной мощностью — около 4 ГБ оперативной памяти на устройство. Ни одна отдельная приставка не могла запустить сколько-нибудь значимую модель ИИ.
Исследователи решили эту проблему, применив шардирование модели (model sharding). Они использовали модель Gemma 4 26B от Google, квантованную до 4 бит, и распределили её слои между сетевыми устройствами. Каждая ТВ-приставка обрабатывала лишь несколько слоев, последовательно передавая промежуточные вычисления следующему устройству.
Этот подход позволил успешно запустить модель, продемонстрировав, что даже недорогое распределенное оборудование может коллективно поддерживать сложный ИИ. Однако производительность была заметно низкой: система генерировала ответы со скоростью 0,39 токена в секунду, что соответствует примерно одному короткому предложению в минуту. Эта скорость подчеркивает критический компромисс, делая это скорее проверкой концепции, чем практичным высокоскоростным ИИ-сервисом.
Одна модель распространилась — но у эксперимента был нюанс
Затем Anthropic перешла к отдельному тесту для компонента «червя»: способности ИИ-агента к самовоспроизведению. Исследователи создали изолированную сеть из восьми машин Google Cloud, каждая из которых работала под управлением Android, и запустили агента на одном узле. Его задача: найти другие машины, скопировать свое программное обеспечение и запустить модель.
Одна модель, GLM-5.2, успешно завершила этот цикл на всех восьми машинах в четырех из пяти попыток и на семи из восьми в оставшейся попытке. Все остальные протестированные модели не справились с полной задачей. Это продемонстрировало способность ИИ автономно распространяться и развертывать функциональную модель.
Тем не менее, этот результат сопровождается важными оговорками. Во-первых, исследователи намеренно настроили устройства с открытым доступом к Android Debug Bridge (ADB) без пароля, что упростило начальный этап взлома. Кроме того, логические операции большой модели агента выполнялись на отдельном мощном сервере, а не на самих целевых устройствах.
Важно отметить, что агент не устанавливал копию своего «мозга» на целевые устройства. Вместо этого его целью была установка Llama 3.1 8B, более компактной модели, которая выступала в качестве прокси для типа полезной нагрузки, которую мог бы нести настоящий червь. Более подробную информацию об этом исследовании см. в статье AI models may be capable of self-replicating without access to a datacenter - Anthropic. Эти условия подчеркивают, что, хотя автономное распространение было достигнуто, оно опиралось на значительно упрощенную среду по сравнению с реальными угрозами.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Реальный риск или переход от доказательства к панике?
Автономная репликация остается теоретической, а не неминуемой угрозой. Модель, продемонстрировавшая самораспространение, GLM 5.2, обладает 753 миллиардами параметров — это слишком много для типичной ТВ-приставки на Android. И наоборот, модели, достаточно компактные для таких устройств, не смогли бы выполнить задачу репликации. Их возможности пока просто не пересекаются.
Тем не менее, ТВ-приставки на Android уязвимы. Ботнет Kimwolf уже заразил более 2 миллионов таких устройств, многие из которых поставлялись с открытыми портами отладки ADB и без пароля по умолчанию. Хотя в тесте на репликацию использовались намеренно открытые порты, этот реальный прецедент показывает, что такие точки входа не являются вымышленными.
Передача весов модели объемом в несколько гигабайт между устройствами была бы заметной и медленной. Например, червю с 9 миллиардами параметров потребовалось бы от 28 до 51 часа для установки модели на каждое новое устройство. Такая медлительность дала бы сетевым защитникам достаточно возможностей для обнаружения и предотвращения распространения.
Anthropic прогнозирует, что небольшие модели могут получить эти комбинированные возможности к концу 2026 года, но это остается лишь оценкой, а не уверенностью. Хотя исследование указывает на потенциальный будущий риск, оно не предоставляет доказательств неминуемого массового заражения. Дискуссия продолжается: реальный риск или переход от доказательства к панике?
Часто задаваемые вопросы
Могут ли модели ИИ в настоящее время самостоятельно реплицироваться на смарт-устройствах?
Тесты Anthropic не продемонстрировали полноценного независимого червя на реальных смарт-устройствах. Модель, способная координировать тест, была слишком большой для запуска на целевых устройствах.
Что тестировалось в эксперименте Anthropic по самореплицирующемуся ИИ?
Исследователи отдельно тестировали запуск модели на недорогих ТВ-приставках Android и способность агента ИИ устанавливать модель на сетевые устройства Android.
Почему условия теста подверглись критике?
На целевых машинах были открыты неаутентифицированные порты Android Debug Bridge, а агент использовал отдельный сервер для своих логических операций.
Почему дешевые ТВ-приставки на Android вызывают опасения в плане безопасности?
Некоторые из них поставляются с небезопасными настройками по умолчанию, включая открытые порты отладки. Исследователи связывают такие устройства с крупными ботнетами, включая Kimwolf.