«Неуязвимый» ИИ Google был взломан

Google DeepMind представила SynthID как свое флагманское решение для обостряющегося кризиса дезинформации и дипфейков, генерируемых ИИ. Этот передовой инструмент, первоначально запущенный в бета-версии для изображений в августе 2023 года и расширенный для текста и видео в мае 2024 года, представлял собой значительные инвестиции Google в развитие прозрачности и доверия в области генеративного ИИ. Компания позиционировала SynthID как критически важную защиту от распространения обманчивого контента.

Основная цель SynthID заключалась во внедрении постоянного, невидимого цифрового водяного знака непосредственно в контент, сгенерированный ИИ, в момент его создания. Для изображений это включало использование кодирования с расширенным спектром для введения низкоэнергетического сигнала в частотную область. Этот сигнал оставался незаметным для человеческого глаза, но был математически отличим и обнаруживаем проприетарной системой Google, фактически служа уникальным цифровым отпечатком.

Google делала убедительные заявления о устойчивости SynthID, подчеркивая его способность выдерживать распространенные манипуляции с изображениями без ухудшения качества контента. Система была разработана для сопротивления широкомасштабным изменениям, включая: - Обрезку - Изменение размера - Сжатие JPEG

Эти заверения были центральными в маркетинге Google, который часто описывал SynthID как «неуязвимое» решение. Обещание заключалось в том, что этот водяной знак будет сохраняться на протяжении типичных изменений жизненного цикла контента, обеспечивая долговечный механизм верификации для медиа, сгенерированных ИИ.

Исследователь ИИ Алош Денни принял сложный вызов «неуязвимого» водяного знака ИИ от Google DeepMind. Google позиционировала SynthID как неприступную, невидимую защиту от дезинформации и дипфейков, сгенерированных ИИ, что является критически важным компонентом ее миллиардной ставки на цифровое доверие. Работа Денни теперь выявляет фундаментальную уязвимость в этой, казалось бы, непроницаемой броне, прямо ставя под сомнение заявления технологического гиганта о надежности.

Прорыв Денни произошел не как тайная атака, а как «Reverse SynthID» – открыто опубликованный исследовательский проект по безопасности на GitHub. Эта инициатива переосмысливает повествование от злонамеренного умысла к важной, прозрачной оценке уязвимости. Его проект заключался не в саботаже, а в анализе и понимании механизмов водяных знаков ИИ для повышения общей безопасности системы.

Вместо того чтобы полагаться на методы грубой силы, такие как сильное сжатие JPEG или добавление шума, которые часто ухудшают качество изображения, Денни применил высокоточный подход. Он использовал сложную атаку с фазовым сдвигом, тщательно анализируя «выходы Gemini white и Gemini black», чтобы выделить точные координаты преобразования Фурье, где находился водяной знак. Это позволило ему точно сдвинуть фазу водяного знака, разрушив его когерентность. Результат оказался разрушительным: уверенность детектора Google упала более чем на 90%, при этом изображение сохранило безупречное значение PSNR в 43 дБ, выглядя идеальным для человеческого глаза.

Результаты одного исследователя AI теперь напрямую бросают вызов мощи и ресурсам одной из крупнейших мировых технологических корпораций. Это значимое событие поднимает насущные вопросы о жизнеспособности централизованных механизмов безопасности AI и присущих уязвимостях систем, полагающихся на статические математические сигналы. Открытый подход Денни подчеркивает силу индивидуальной изобретательности в ландшафте, где доминируют корпоративные гиганты, расширяя границы исследований безопасности AI и освещая непрерывную «игру в кошки-мышки» в поисках подлинности AI.

SynthID от Google DeepMind работает по принципу, называемому spread spectrum encoding. Представьте данные пикселей изображения как оживленную радиочастоту, полную визуального «шума», из которого состоит изображение, которое мы видим. SynthID искусно встраивает низкоуровневый, высокоспецифичный сигнал в этот цифровой шум.

Люди не могут воспринимать этот скрытый сигнал; наши глаза просто регистрируют полное, неизмененное изображение. Этот низкоэнергетический сигнал находится в частотной области изображения, математическом представлении его основных паттернов и текстур.

Однако специализированный детектор использует сложные математические алгоритмы. Он точно анализирует частотную область изображения, выделяя внедренный сигнал и подтверждая происхождение контента от AI. Google DeepMind разработала SynthID, чтобы он был устойчив к распространенным изменениям изображений.

Позже исследователи обнаружили структуру несущей частоты водяного знака, зависящую от разрешения. Анализируя выходы «Gemini white» и «Gemini black» — по сути, чистые листы, сгенерированные AI — аналитики точно определили координаты преобразования Фурье, где находился водяной знак.

Это тщательное исследование выявило неравномерное распределение сигнала по цветовым каналам: - Зеленый канал: самый сильный сигнал (вес 1.0) - Красный канал: вторичный сигнал (0.85) - Синий канал: самый слабый сигнал (0.7)

Что особенно важно, базовая фазовая матрица для этого сигнала оставалась почти идентичной для каждого изображения, сгенерированного конкретной моделью Gemini. Этот последовательный, статический паттерн послужил основой для его последующего раскрытия. Для получения более подробной технической информации об этой технологии вы можете посетить SynthID - Google DeepMind.

Прорыв исследователя AI Алоша Денни выявил фундаментальный недостаток в дизайне SynthID: его «невидимый» водяной знак не был по-настоящему случайным шумом, как подразумевала Google DeepMind. Вместо этого Денни обнаружил высокопредсказуемую структуру несущей частоты, зависящую от разрешения, встроенную в сигнал. Этот последовательный паттерн противоречил заявлениям о невзламываемой, надежной системе, раскрывая детерминированный компонент, который можно было подвергнуть обратному проектированию.

Изобретательная методология Денни включала анализ пустых изображений, выводимых моделью Gemini, в частности «Gemini white» и «Gemini black». Эти безупречные, не содержащие контента холсты оказались решающими, позволив ему изолировать необработанный сигнал водяного знака от любых фактических данных изображения. Исследуя эти чистые фоны, он точно определил координаты преобразования Фурье, где находились отдельные компоненты водяного знака, эффективно картируя его спектральное расположение.

Дальнейший анализ показал, что сигнал водяного знака распределялся неравномерно по цветовым каналам, а не равномерно, как можно было бы ожидать для действительно рассеянного сигнала. Зеленый канал нес самый сильный сигнал с весом 1.0, за ним следовал красный с 0.85, а синий нес самый слабый сигнал с 0.7. Это детальное понимание спектрального следа сигнала и его распределения по каналам было критически важным для раскрытия его базовой математической структуры.

Что наиболее важно, Денни обнаружил серьезную уязвимость: фазовый шаблон для водяного знака оставался почти идентичным для каждого изображения, сгенерированного одной и той же Gemini model. Эта статичная, повторяющаяся сигнатура фактически действовала как мастер-ключ. Система Google, разработанная для уникального, устойчивого встраивания, вместо этого производила очень предсказуемый, единообразный шаблон, делая «невзламываемую» систему поразительно последовательной.

Эта присущая единообразность означала, что злоумышленникам больше не требовались методы грубой силы, такие как сильное сжатие JPEG или добавление шума, которые часто ухудшают качество изображения и легко обнаруживаются. Вместо этого Денни смог использовать этот последовательный фазовый шаблон для создания «хирургической» атаки. Идентичный шаблон предоставил точный план для идентификации, нацеливания и манипулирования когерентностью водяного знака без изменения визуальной целостности изображения.

Обнаружение этого инвариантного фазового шаблона превратило предполагаемую силу SynthID в ее величайшую слабость. Это позволило Денни создать «спектральный кодовый блок», подробно описывающий точные частотные интервалы водяного знака. Такой уровень предсказуемости подрывает основную предпосылку безопасности любого цифрового водяного знака, который полагается на некоторую степень случайности или сложности для сопротивления удалению. Выводы Денни подтверждают основной принцип криптографии и безопасности: любой статический математический сигнал, будучи полностью охарактеризованным, становится уязвимым для целенаправленных атак. Это развитие значительно меняет текущую игру в кошки-мышки с водяными знаками ИИ, доказывая, что видимость в математике в конечном итоге приводит к удалению.

Предыдущие попытки отключить водяной знак SynthID от Google часто прибегали к грубым, силовым тактикам. Эти методы, включая сильное сжатие JPEG или неизбирательное добавление шума, были направлены на подавление встроенного сигнала. Хотя иногда они были эффективны в нарушении обнаружения, они неизбежно приводили к значительному, видимому ухудшению качества изображения, делая контент непригодным для многих целей.

Прорыв Алоша Денни представлял собой резкий отход от таких разрушительных стратегий. Его проект использовал хирургический подход, тщательно разработанный для точного нацеливания на водяной знак, а не для его полного уничтожения. Этот точный метод известен как атака со сдвигом фазы.

В отличие от методов грубой силы, которые пытаются стереть сигнал, атака Денни тщательно манипулирует им. Точно нацеливаясь на определенные частотные интервалы, выявленные в ходе его предыдущего анализа, он сдвигает фазу встроенного водяного знака. Это действие не удаляет сигнал полностью, но фундаментально изменяет его математическую сигнатуру.

Эта точная фазовая манипуляция разрушает когерентность водяного знака, делая его бессмысленным для детектора Google. Кодирование с расширенным спектром основано на последовательной, предсказуемой фазовой зависимости по всему сигналу; нарушая этот шаблон, Денни эффективно взламывает код, не удаляя базовые данные. Детектор больше не может распознать «невидимый» знак.

Эффективность этого «хирургического» удара оказалась разрушительной для заявлений SynthID о устойчивости. После обработки изображений, подвергшихся атаке Денни, уверенность детектора в идентификации водяного знака упала более чем на 90%. Это резкое падение сигнализировало о глубоком нарушении способности системы проверять подлинность контента.

Что особенно важно, целостность визуального контента оставалась практически нетронутой на протяжении всего этого процесса. В то время как водяной знак исчез для детектора, качество изображения поддерживало впечатляющие 43 дБ PSNR (Peak Signal-to-Noise Ratio). Для человеческого глаза измененное изображение кажется неотличимым от его оригинального, безводяного знака.

Тщательный анализ Денни выявил еще одну критическую слабость: сигнал watermark распределялся неравномерно по цветовым каналам изображения. Это неравномерное распределение создавало очевидный, предсказуемый шаблон, который мог использовать злоумышленник. Вместо равномерного присутствия сигнал демонстрировал четкую иерархию в спектре RGB, что облегчало его обнаружение.

Green channel постоянно нес самый сильный сигнал, взвешенный на полную 1.0. Вслед за ним red channel имел значительное, но уменьшенное присутствие на уровне 0.85. Blue channel, напротив, содержал самый слабый сигнал, регистрируемый на уровне всего 0.7. Это специфическое, асимметричное взвешивание не было случайным; оно предлагало отчетливый отпечаток для любого, кто изучал frequency domain.

Этот предсказуемый дисбаланс в силе сигнала по цветовым каналам давал решающее преимущество противнику. Это означало, что watermark не был равномерно рассеянным присутствием, а скорее концентрировался в идентифицируемых областях. Это позволяло применять высокоцелевой подход, переходя от общего нарушения к точному удалению.

В сочетании с ранее обнаруженной resolution-dependent carrier frequency, это channel weighting предложило многогранную дорожную карту для деконструкции. Оно показало, что «unhackable» система Google полагалась на static mathematical properties, которые, будучи reverse-engineered, стали ее крахом. Сигнал, хотя и невидимый для человеческого глаза, был отнюдь не случайным в своем digital footprint.

Предыдущие, менее эффективные методы удаления watermarks часто использовали brute-force techniques. К ним относились сильное сжатие JPEG или неизбирательное добавление noise, что неизменно ухудшало качество изображения. Такие методы могли скрыть watermark, но они фундаментально подрывали целостность контента, сгенерированного AI.

Однако, открытия Денни позволили применить гораздо более surgical approach. Понимая специфическое channel distribution и carrier frequency, злоумышленник мог изолировать и удалить watermark, не повреждая visual fidelity изображения. Это точное понимание состава watermark превратило задачу из destructive guessing game в methodical, targeted operation. Для получения дополнительных технических подробностей об этих методах и коде проекта исследователи могут изучить aloshdenny/reverse-SynthID - GitHub. Этот предсказуемый дисбаланс стал критически важным ключом к взлому предположительно resilient system Google.

Google DeepMind изначально продвигала SynthID как «unhackable» invisible watermark, важнейший бастион против растущей волны AI-generated misinformation и deepfakes. Это смелое утверждение позиционировало их решение как cornerstone of trust для generative AI content, обещая resilience против common tampering. Однако проект Reverse SynthID Алоша Денни теперь резко оспаривает этот нарратив, предоставляя compelling open-source evidence полного bypass.

После публичного выпуска Reverse SynthID Денни, официальные заявления Google приняли более tempered tone. Они утверждают, что watermark остается «robust» и не может быть «systematically removed» обычными методами, image-degrading. Это утверждение пытается downplay the severity of the breach, предполагая, что core technology в значительной степени enduring, несмотря на выводы Денни.

Работа Денни прямо противоречит утверждению Google о систематической устойчивости. Его проект демонстрирует хирургическую атаку со сдвигом фазы, которая точно нацеливается и нейтрализует когерентность водяного знака, идентифицированную по его зависящей от разрешения структуре несущей частоты и специфическим координатам преобразования Фурье. Этот метод последовательно достигает 90%-ного падения уверенности детектора, сохраняя при этом 43 дБ PSNR, делая изображения визуально идентичными их оригинальным изображениям с водяным знаком, но полностью необнаружимыми для системы Google.

Тонкий, но критически важный нюанс в защите Google признает, что SynthID не является абсолютно надежным против «экстремальных манипуляций с изображениями». Это признание вызывает вопросы о точном определении «экстремальных», особенно в сравнении с целенаправленной точностью Reverse SynthID. Техника Денни, далекая от грубой силы, использует глубокое понимание базовой структуры водяного знака, точно определяя его неравномерное распределение по цветовым каналам (зеленый самый сильный на 1.0, красный на 0.85, синий на 0.7).

Классификация такого точного, неразрушающего сдвига фазы как «экстремальной манипуляции с изображением» выглядит как попытка переопределить объем их первоначального заявления о «невзламываемости» или переложить вину за обнаруженную уязвимость. В отличие от предыдущих, менее эффективных методов, включающих сильное JPEG-сжатие или добавление шума, которые ухудшают визуальное качество, подход Денни оставляет изображение визуально безупречным. Доказательства убедительно свидетельствуют о том, что была выявлена фундаментальная, предсказуемая уязвимость, а не «экстремальная» атака на в остальном непроницаемую систему.

Это нарушение SynthID подчеркивает фундаментальную истину о цифровых водяных знаках: ни одна система, разработанная на основе статического, предсказуемого математического сигнала, не остается непроницаемой бесконечно. Проект Алоша Денни «Reverse SynthID» не просто выявил уязвимость в реализации Google; он продемонстрировал присущую хрупкость любого водяного знака, основанного на фиксированных паттернах. Как только противник изолирует характеристики сигнала, его удаление становится вопросом точного инжиниринга.

Системы водяных знаков сталкиваются с неизбежной дилеммой. Разработчики должны встраивать сигнал, достаточно сильный, чтобы выдерживать распространенные манипуляции с изображениями, такие как обрезка, изменение размера или сжатие, обеспечивая его надежность. Однако увеличение силы водяного знака часто делает его либо более обнаруживаемым для реверс-инженеров, либо вносит видимые артефакты, ухудшая качество контента. Google стремился к невидимому, устойчивому знаку, но Денни доказал, что невидимость не равносильна неуязвимости, когда базовая математика последовательна.

Алош Денни добился хирургического обхода, снизив уверенность детектора SynthID более чем на 90%, сохраняя при этом безупречный PSNR 43 дБ в изображении. Это резко контрастирует с предыдущими методами грубой силы, которые портили качество изображения, подчеркивая изощренность его атаки со сдвигом фазы. Денни идентифицировал несущую частоту, зависящую от разрешения, и неравномерное распределение сигнала по цветовым каналам (зеленый самый сильный, затем красный, затем синий), а также почти идентичный фазовый шаблон в сгенерированных изображениях.

Заявление Google о «невзламываемом» водяном знаке в конечном итоге столкнулось с реальностью продолжающейся технологической гонки вооружений. Для каждого механизма защиты целеустремленные исследователи будут искать обходной путь. Это не поражение только для Google, но и суровое напоминание для всех разработчиков, создающих инструменты аутентификации контента. В тот момент, когда математический чертеж водяного знака становится различимым, его удаление — это всего лишь головоломка, ожидающая решения. Это постоянное противостояние определяет ландшафт цифровой безопасности, где инновации в защите всегда встречают изобретательность в нападении.

Недавняя уязвимость SynthID подчеркивает ограничения встроенных водяных знаков как единственного решения для верификации контента, созданного ИИ. Хотя такие системы, как SynthID, внедряют невидимый сигнал непосредственно в пиксели, их подверженность сложным атакам, продемонстрированная проектом Reverse SynthID Алоша Денни, требует изучения дополнительных стратегий.

Одной из заметных альтернатив, набирающих популярность, является Content Authenticity Initiative (C2PA) — открытый технический стандарт, разработанный межотраслевой коалицией, включающей Adobe, Arm, Intel, Microsoft и BBC. C2PA применяет принципиально иной подход к верификации контента.

Вместо изменения самого контента, C2PA сосредоточена на прикреплении к цифровым активам безопасных, защищенных от подделки криптографических метаданных. Эти метаданные действуют как цифровая этикетка пищевой ценности, регистрируя происхождение актива, дату создания и полную историю изменений.

Эта система предоставляет поддающуюся аудиту, проверяемую запись о происхождении без использования скрытого сигнала в данных изображения. Цель состоит в том, чтобы установить доверие, обеспечивая непрерывную цепочку хранения цифрового контента.

Сравнивая эти два подхода, пиксельно-встроенный подход SynthID предлагает теоретическую устойчивость к простому удалению метаданных, поскольку сигнал сохраняется даже при удалении заголовков файлов. Однако его заявление о «невзламываемости» было наглядно оспорено, как это видно на примере Reverse SynthID. Подробнее об этом см. Google's SynthID AI Watermarking Tech Claimed to Be Reverse-Engineered | Technology News - Gadgets 360.

Напротив, C2PA предоставляет гораздо более полную и стандартизированную запись о пути актива, что крайне важно для установления доверия в сложных цифровых рабочих процессах. Его основная слабость заключается в зависимости от метаданных, которые могут быть удалены, если их применение не будет повсеместно обеспечено на каждом этапе создания и распространения контента.

В конечном итоге, многоуровневый подход, сочетающий как встроенные водяные знаки, так и надежные стандарты метаданных, может предложить наиболее прочную защиту от растущей угрозы дезинформации, создаваемой ИИ. Цифровая игра в кошки-мышки продолжается, стимулируя инновации как в обнаружении, так и в сокрытии.

Быстрое разрушение Google's SynthID Алошем Денни выходит далеко за рамки технического поражения; оно представляет собой глубокий удар по самой основе доверия в нашей цифровой информационной экосистеме. Google позиционировал свой «невзламываемый» водяной знак как критически важный барьер против растущей волны дезинформации, создаваемой ИИ, и дипфейков. Его быстрое подрывное действие выявляет хрупкость таких гарантий.

Этот инцидент подчеркивает опасный парадокс в эпоху генеративного ИИ. По мере того как модели ИИ производят все более неразличимый, фотореалистичный и убедительный контент, наша коллективная зависимость от встроенных технических решений для обеспечения подлинности растет экспоненциально. Однако эти самые решения, от сложных водяных знаков до криптографических подписей, оказываются явно ошибочными. Идентифицированная Денни «структура несущей частоты, зависящая от разрешения», и неравномерное распределение сигнала по цветовым каналам подчеркивают присущие уязвимости.

«Атака с фазовым сдвигом» Денни, которая хирургически удаляет водяной знак, сохраняя при этом качество изображения на уровне 43 dB PSNR, выявляет присущую проблему. Предыдущие методы грубой силы ухудшали изображения; его метод сохраняет визуальное совершенство, уничтожая при этом уверенность детектора более чем на 90%. Этот сложный обходной путь предвещает будущее, в котором контент может выглядеть безупречно для человеческого глаза, но не иметь проверяемого цифрового происхождения.

Последствия для журналистики, демократических процессов и личной идентичности огромны. Если даже система, разработанная таким технологическим гигантом, как Google, может быть так тщательно взломана Alosh Denny, какое доверие мы можем испытывать к любому цифровому контенту? Это не просто программная ошибка; это фундаментальное потрясение в нашем восприятии реальности.

Разработаем ли мы в конечном итоге действительно устойчивые, неподделываемые методы проверки контента, созданного ИИ, способные противостоять неустанным инновациям тех, кто стремится скрыть происхождение? Или мы безвозвратно вступаем в эру, когда мы никогда не сможем полностью доверять тому, что видим, слышим или читаем в интернете, навсегда запертые в цикле сомнений и обмана?

Что такое Google SynthID?

SynthID — это инструмент от Google DeepMind, который встраивает невидимый цифровой водяной знак в контент, созданный ИИ, например, изображения, чтобы помочь идентифицировать их как созданные ИИ.

Как был взломан SynthID?

Разработчик по имени Alosh Denny использовал «атаку со сдвигом фазы» (phase shift attack), чтобы воздействовать на определенные частоты, где находится водяной знак, эффективно отключая его без видимого повреждения изображения.

Стал ли SynthID теперь полностью бесполезным?

Google утверждает, что он остается надежным, но это событие показывает, что статические водяные знаки могут быть подвергнуты обратному инжинирингу. Это подчеркивает продолжающуюся игру в кошки-мышки в области безопасности ИИ.

Может ли SynthID обнаруживать изображения от Midjourney или DALL-E?

Нет, SynthID может обнаруживать водяные знаки только в контенте, созданном собственными моделями Google, такими как Gemini, у которых включена функция водяных знаков.