Предупреждение Сэма Альтмана об ИИ-безопасности — это тревожный сигнал

Недавнее предупреждение Сэма Альтмана затрагивает саму суть современной кибербезопасности: наш традиционный цикл «обнаружение и исправление» фундаментально сломан. Генеральный директор OpenAI утверждает, что растущие возможности ИИ означают, что старый процесс — поиск уязвимостей и их поочередное устранение — просто не будет масштабироваться. Мы сталкиваемся с кривой угроз, которая не просто растет, а развивается экспоненциально.

Он указывает на то, что называет «паникой вокруг Mythos», как на критически упущенный урок. Ранее в этом году невыпущенная модель Claude Mythos от Anthropic продемонстрировала пугающую способность обнаруживать тысячи уязвимостей нулевого дня, некоторые из которых были скрыты десятилетиями в крупных системах. Хотя это вызвало шквал исправлений и беспокойства, многие руководители восприняли это как единичное событие, как решенную проблему, а не как предвестник постоянных и ускоряющихся изменений.

Эта неспособность «интуитивно понять экспоненту» означает, что люди продолжают рассматривать будущие возможности ИИ как линейное продолжение современных инструментов. Альтман подчеркнул, что модели не просто становятся постепенно умнее; они эволюционируют, находя «безумные баги», выходящие далеко за рамки текущих моделей угроз, включая уязвимости на аппаратном уровне, которые невозможно исправить обычными программными методами. Вывод суров: огромный объем и сложность эксплойтов, обнаруженных ИИ, вскоре превысят возможности человека по их устранению.

Заявление Альтмана ясно: мы больше не можем рассчитывать на то, что сможем «просто исправить все баги». Сама основа нашей цифровой защиты, построенная на реактивном устранении последствий, рушится под давлением экспоненциального прогресса ИИ.

«Черный октябрь» держит команды безопасности в напряжении по веской причине: череда громких инцидентов, произошедших в пугающе короткие сроки, выявила потенциальный сдвиг в эффективности атак. В видео освещается несколько тревожных примеров. Одна облачная компания, Zeabur, сообщила, что злоумышленник использовал утекшие внутренние учетные данные для доступа к ее системам, что привело к компрометации 3,2 миллиона записей клиентов и закрытию компании.

Другой инцидент связан с LightLLM, популярным инструментом для подключения приложений к моделям ИИ. Вредоносная версия, предназначенная для кражи паролей и секретных ключей, появилась на короткое время перед тем, как была удалена. Кроме того, выяснилось, что компания, выдающая цифровые сертификаты — критически важные для аутентификации веб-сайтов, — использовала опасно слабые ключи, один из которых буквально состоял из цифры четыре. Это не изолированные, незначительные недостатки.

Такое скопление столь серьезных инцидентов кажется особенно тревожным. Команды безопасности и так борются с огромным количеством неисправленных уязвимостей и сокращающимися окнами реагирования, что делает внезапный всплеск крупных взломов и критических уязвимостей исключительно сложной задачей. Это одновременное давление усугубляет существующие системные слабости.

Важно отметить, что отчеты не доказывают, что ИИ стал причиной каждого отдельного инцидента. Некоторые атаки могли длиться месяцами, а время публичного раскрытия информации может заставить отдельные, не связанные друг с другом проблемы выглядеть как единый скоординированный всплеск. Тем не менее, огромный объем и серьезность этих инцидентов подчеркивают экспоненциальную угрозу, о которой предупреждает Альтман, независимо от точного вектора атаки.

Предупреждение Altman попадает в точку, потому что компрометация платформы быстро становится личной проблемой. Когда уязвимости в цепочке поставок раскрывают учетные данные, эти ключи могут открыть доступ к другим сервисам. В отличие от украденного кошелька, скомпрометированные медицинские данные — например, те, к которым, как сообщается, был получен доступ в Quest Diagnostics, обрабатывающей анализы для бесчисленного количества пациентов, — буквально невосполнимы, что создает риски на всю жизнь.

Подумайте о скорости. В видео был показан отравленный инструмент разработчика LightLLM, предназначенный для кражи паролей и секретных ключей, который был активен в течение нескольких часов, прежде чем его удалили. В это короткое окно у организаций остается мало времени, чтобы оценить масштаб воздействия, применить исправления, сменить секреты и уведомить пострадавших. Эта быстрая эксплуатация резко сокращает и без того узкое окно между публичным раскрытием информации и активными атаками.

Инцидент с Railway, где злоумышленник, как сообщается, использовал утечку внутренних данных для входа в систему, чтобы получить доступ к настройкам и данным более 300 000 учетных записей клиентов, подчеркивает эту непосредственную угрозу. Такие взломы — это не просто технические сбои; они приводят к реальным последствиям для отдельных людей. Экспоненциальная природа обнаружения уязвимостей с помощью ИИ означает, что это личное воздействие будет только ускоряться.

Как заявил сам Altman, традиционная модель «исправления и латания» рушится. Подробнее о его взглядах читайте в статье Sam Altman: 'I No Longer Think We're Gonna Be Able to Just Patch All the Bugs'. Уязвимость теперь заключается не только в коде; она в нашей коллективной неспособности адаптироваться к этому ускоряющемуся темпу.

Решение Altman? Полный пересмотр нашей модели защиты с использованием ИИ для противодействия ИИ. Речь идет не о полностью автоматизированных исправлениях — этот путь порождает новые ошибки и исключает человеческий контроль. Вместо этого фокус смещается на системы, которые могут ускорить работу команд безопасности: ИИ для выявления слабых мест, приоритизации рисков и реагирования на скоростях, с которыми ручные рабочие процессы просто не могут сравниться.

Обещание заключается в более быстром обнаружении «сумасшедших ошибок», которые в настоящее время выходят за рамки типичных моделей угроз, включая недостатки на уровне оборудования. Тем не менее, этот новый щит требует тщательного тестирования, человеческого контроля и четкой подотчетности. Защита на базе ИИ — это инструменты, а не автономные агенты, требующие постоянной калибровки и вмешательства человека для предотвращения непредвиденных последствий.

Лидеры должны действовать сейчас, а не после следующего «черного октября». Практические последствия включают:

• Инвентаризацию критических систем, особенно тех, которые выходят в интернет
• Приоритизацию уязвимостей с потенциалом немедленной эксплуатации
• Сокращение циклов исправления и смены учетных данных до дней, а не недель
• Подготовку планов реагирования на инциденты до того, как произойдет следующее раскрытие уязвимости нулевого дня.

Экспоненциальный рост возможностей ИИ означает, что ожидание следующей уязвимости больше не является вариантом. Мы должны построить проактивную, дополненную ИИ защиту, которая предвидит и нейтрализует угрозы быстрее, чем они успевают распространиться.

О чем предупреждал Sam Altman в отношении кибербезопасности?

Altman сказал, что ИИ может находить уязвимости быстрее и в больших масштабах, чем организации могут исправить их с помощью обычного последовательного исправления.

Что такое «безумие Mythos», о котором упоминал Altman?

Он имел в виду обеспокоенность по поводу Claude Mythos от Anthropic и его заявленной способности выявлять серьезные программные уязвимости.

ИИ стал причиной всех инцидентов, описанных как «черный октябрь»?

Нет. В видео отмечается, что инциденты имели разные причины и что некоторые слабые места существовали еще до недавней волны раскрытий.

Что означает защитный щит на базе ИИ?

Это описывает использование ИИ для более быстрого обнаружения, приоритизации и реагирования на угрозы. Это не означает, что автоматизированные системы защиты лишены рисков или могут заменить команды безопасности.