L'IA 'incassable' de Google vient d'être piratée

Google DeepMind a dévoilé SynthID comme sa solution phare face à la crise croissante de la désinformation générée par l'IA et des deepfakes. Cet outil avancé, initialement lancé en version bêta pour les images en août 2023 et étendu au texte et à la vidéo en mai 2024, représente l'investissement substantiel de Google pour favoriser la transparence et la confiance dans l'IA générative. L'entreprise a positionné SynthID comme une défense critique contre la prolifération de contenus trompeurs.

L'objectif principal de SynthID était d'intégrer un filigrane numérique invisible et persistant directement dans le contenu généré par l'IA au moment de sa création. Pour les images, cela impliquait l'utilisation de l'encodage par étalement de spectre pour injecter un signal de faible puissance dans le domaine fréquentiel. Ce signal restait imperceptible à l'œil humain mais était mathématiquement distinct et détectable par le système propriétaire de Google, servant ainsi de signature numérique unique.

Google a fait des affirmations solides quant à la résilience de SynthID, soulignant sa conception pour survivre aux manipulations d'images courantes sans dégrader la qualité du contenu. Le système a été conçu pour résister à des altérations répandues, notamment : - Le recadrage - Le redimensionnement - La compression JPEG

Ces assurances étaient au cœur du marketing de Google, qui décrivait souvent SynthID comme une solution "incassable". La promesse était que ce filigrane persisterait à travers les changements typiques du cycle de vie du contenu, offrant un mécanisme de vérification durable pour les médias générés par l'IA.

Le chercheur en IA Alosh Denny a relevé le défi redoutable du filigrane d'IA 'incassable' de Google DeepMind. Google avait positionné SynthID comme une défense imprenable et invisible contre la désinformation générée par l'IA et les deepfakes, un élément essentiel de son pari d'un milliard de dollars sur la confiance numérique. Le travail de Denny expose maintenant une vulnérabilité fondamentale dans cette armure apparemment impénétrable, remettant directement en question les affirmations de robustesse du géant de la technologie.

La percée de Denny n'est pas arrivée comme une attaque clandestine, mais comme "Reverse SynthID", un projet de recherche en sécurité publié ouvertement sur GitHub. Cette initiative recadre le récit, passant de l'intention malveillante à une évaluation cruciale et transparente de la vulnérabilité. Son projet ne visait pas le sabotage, mais la dissection et la compréhension des mécanismes de filigranage de l'IA pour améliorer la sécurité globale du système.

Au lieu de s'appuyer sur des méthodes de force brute comme la compression JPEG lourde ou l'ajout de bruit, qui dégradent souvent la qualité de l'image, Denny a employé une approche très chirurgicale. Il a utilisé une attaque par décalage de phase sophistiquée, analysant méticuleusement les "Gemini white and Gemini black outputs" pour isoler les coordonnées exactes de la transformée de Fourier où résidait le filigrane. Cela lui a permis de décaler précisément la phase du filigrane, détruisant sa cohérence. Le résultat s'est avéré dévastateur : la confiance du détecteur de Google a chuté de plus de 90%, pourtant l'image a conservé un PSNR impeccable de 43 dB, apparaissant parfaite à l'œil humain.

Les découvertes d'un seul chercheur en AI remettent désormais directement en question la puissance et les ressources de l'une des plus grandes corporations technologiques du monde. Cet événement profond soulève des questions urgentes sur la viabilité des mécanismes centralisés de sécurité de l'AI et les vulnérabilités inhérentes aux systèmes reposant sur des signaux mathématiques statiques. L'approche open-source de Denny souligne le pouvoir de l'ingéniosité individuelle dans un paysage dominé par les géants corporatifs, repoussant les limites de la recherche en sécurité de l'AI et mettant en lumière le "jeu du chat et de la souris" continu dans la quête de l'authenticité de l'AI.

SynthID de Google DeepMind fonctionne sur un principe appelé spread spectrum encoding. Imaginez les données de pixels d'une image comme une fréquence radio animée, pleine de "bruit" visuel qui compose l'image que nous voyons. SynthID intègre astucieusement un signal de faible volume et très spécifique dans ce bruit numérique.

Les humains ne peuvent pas percevoir ce signal caché ; nos yeux enregistrent simplement l'image complète et inchangée. Ce signal de faible puissance réside dans le frequency domain de l'image, une représentation mathématique de ses motifs et textures sous-jacents.

Un détecteur dédié, cependant, emploie des algorithmes mathématiques sophistiqués. Il analyse précisément le frequency domain de l'image, isolant le signal injecté et confirmant l'origine AI du contenu. Google DeepMind a conçu SynthID pour être résilient face aux altérations d'image courantes.

Les chercheurs ont ensuite découvert la structure de fréquence porteuse dépendante de la résolution du filigrane. En analysant les sorties "Gemini white" et "Gemini black" – essentiellement des toiles vierges générées par l'AI – les analystes ont localisé les coordonnées exactes de la Fourier transform où résidait le filigrane.

Cet examen chirurgical a révélé la distribution inégale du signal à travers les canaux de couleur : - Canal vert : signal le plus fort (poids 1.0) - Canal rouge : signal secondaire (0.85) - Canal bleu : signal le plus faible (0.7)

De manière cruciale, le phase template sous-jacent de ce signal est resté presque identique sur chaque image générée par un modèle Gemini spécifique. Ce motif cohérent et statique a constitué la base de son éventuel démantèlement. Pour plus de détails techniques sur cette technologie, vous pouvez visiter SynthID - Google DeepMind.

La percée du chercheur en AI Alosh Denny a exposé une faille fondamentale dans la conception de SynthID : son filigrane "invisible" n'était pas un bruit véritablement aléatoire, comme l'impliquait Google DeepMind. Au lieu de cela, Denny a découvert une resolution-dependent carrier frequency structure hautement prévisible intégrée au signal. Ce motif cohérent contredisait les affirmations d'un système robuste et incassable, révélant un composant déterministe qui pouvait être rétro-ingénierie.

La méthodologie astucieuse de Denny impliquait l'analyse des sorties d'images vierges du modèle Gemini, spécifiquement "Gemini white" et "Gemini black". Ces toiles immaculées et sans contenu se sont avérées cruciales, lui permettant d'isoler le signal brut du filigrane de toute donnée d'image réelle. En examinant ces arrière-plans purs, il a identifié avec précision les coordonnées exactes de la Fourier transform où résidaient les composants distincts du filigrane, cartographiant efficacement son emplacement spectral.

Une analyse plus approfondie a révélé que le signal du filigrane était distribué inégalement à travers les canaux de couleur, et non uniformément comme on pourrait s'y attendre pour un signal véritablement dispersé. Le canal vert portait le signal le plus fort avec un poids de 1.0, suivi du rouge à 0.85, et le bleu portait le signal le plus faible à 0.7. Cette compréhension granulaire de l'empreinte spectrale du signal et de sa distribution par canal a été essentielle pour démêler sa structure mathématique sous-jacente.

Plus important encore, Denny a découvert une vulnérabilité grave : le modèle de phase pour le filigrane est resté presque identique sur chaque image générée par le même modèle Gemini. Cette signature statique et répétable a effectivement agi comme une clé maîtresse. Le système de Google, conçu pour un incrustation unique et résiliente, a plutôt produit un motif hautement prévisible et uniforme, rendant le système « incassable » étonnamment cohérent.

Cette uniformité inhérente signifiait que les attaquants n'avaient plus besoin de méthodes de force brute comme la compression JPEG lourde ou l'ajout de bruit, qui dégradent souvent la qualité de l'image et sont facilement détectables. Au lieu de cela, Denny a pu exploiter ce modèle de phase cohérent pour élaborer une attaque chirurgicale. Le modèle identique a fourni un plan précis pour identifier, cibler et manipuler la cohérence du filigrane sans altérer l'intégrité visuelle de l'image.

La découverte de ce modèle de phase invariant a transformé la force supposée de SynthID en sa plus grande faiblesse. Elle a permis à Denny de construire un « codebook spectral », détaillant les bandes de fréquence exactes du filigrane. Ce niveau de prévisibilité sape la prémisse de sécurité fondamentale de tout filigrane numérique, qui repose sur un certain degré d'aléatoire ou de complexité pour résister à la suppression. Les découvertes de Denny confirment un principe fondamental en cryptographie et en sécurité : tout signal mathématique statique, une fois entièrement caractérisé, devient vulnérable aux attaques ciblées. Ce développement modifie considérablement le jeu du chat et de la souris en cours du filigrane d'IA, prouvant que la visibilité dans les mathématiques mène finalement à la suppression.

Les tentatives précédentes pour désactiver le filigrane SynthID de Google ont souvent eu recours à des tactiques grossières de force brute. Ces méthodes, y compris la compression JPEG lourde ou l'ajout indiscriminé de bruit, visaient à submerger le signal intégré. Bien que parfois efficaces pour perturber la détection, elles ont inévitablement introduit une dégradation significative et visible de la qualité de l'image, rendant le contenu inutilisable à de nombreuses fins.

La percée d'Alosh Denny a représenté une rupture nette avec de telles stratégies destructrices. Son projet a employé une approche chirurgicale, soigneusement conçue pour cibler le filigrane avec une précision extrême plutôt que par une oblitération à grande échelle. Cette méthode précise est connue sous le nom d'attaque par décalage de phase.

Contrairement aux techniques de force brute qui tentent d'effacer le signal, l'attaque de Denny le manipule méticuleusement. En ciblant précisément les bandes de fréquence spécifiques identifiées lors de son analyse précédente, il décale la phase du filigrane intégré. Cette action ne supprime pas entièrement le signal mais altère fondamentalement sa signature mathématique.

Cette manipulation précise de la phase détruit la cohérence du filigrane, le rendant insignifiant pour le détecteur de Google. L'encodage par étalement de spectre repose sur une relation de phase cohérente et prévisible à travers le signal ; en perturbant ce motif, Denny brise efficacement le code sans supprimer les données sous-jacentes. Le détecteur ne peut plus reconnaître la marque 'invisible'.

L'efficacité de cette frappe chirurgicale s'est avérée dévastatrice pour les affirmations de résilience de SynthID. Après avoir traité des images soumises à l'attaque de Denny, la confiance du détecteur dans l'identification du filigrane a chuté de plus de 90 %. Cette baisse spectaculaire a signalé une profonde brèche dans la capacité du système à vérifier l'authenticité du contenu.

De manière cruciale, l'intégrité du contenu visuel est restée pratiquement intacte tout au long de ce processus. Alors que le filigrane a disparu pour le détecteur, la qualité de l'image a maintenu un impressionnant PSNR (rapport signal/bruit de crête) de 43 dB. À l'œil humain, l'image altérée apparaît indiscernable de son homologue original, non filigrané.

L'analyse méticuleuse de Denny a révélé une autre faiblesse critique : le signal du watermark ne se distribuait pas également sur les canaux de couleur d'une image. Cette distribution inégale offrait un motif flagrant et prévisible qu'un attaquant pouvait exploiter. Au lieu d'une présence uniforme, le signal présentait une hiérarchie claire au sein du spectre RGB, rendant sa signature plus facile à localiser.

Le canal vert portait constamment le signal le plus fort, pondéré à 1,0. Suivant de près, le canal rouge maintenait une présence significative mais réduite à 0,85. Le canal bleu, à l'inverse, contenait le signal le plus faible, enregistrant un maigre 0,7. Cette pondération spécifique et asymétrique n'était pas aléatoire ; elle offrait une empreinte digitale distincte pour quiconque examinait le domaine fréquentiel.

Ce déséquilibre prévisible de la force du signal à travers les canaux de couleur a procuré un avantage crucial à un adversaire. Cela signifiait que le watermark n'était pas une présence uniformément diffusée, mais plutôt concentrée dans des zones identifiables. Cela a permis une approche très ciblée, s'éloignant de la perturbation généralisée pour se diriger vers une excision précise.

Associée à la découverte antérieure d'une fréquence porteuse dépendante de la résolution, cette pondération des canaux offrait une feuille de route multifacette pour la déconstruction. Elle a révélé que le système 'unhackable' de Google reposait sur des propriétés mathématiques statiques qui, une fois rétro-ingénierisées, sont devenues sa perte. Le signal, bien qu'invisible à l'œil humain, était tout sauf aléatoire dans son empreinte numérique.

Les méthodes précédentes, moins efficaces, de suppression des watermarks employaient souvent des techniques de force brute. Celles-ci incluaient une forte compression JPEG ou l'ajout indiscriminé de bruit, ce qui dégradait invariablement la qualité de l'image. De telles méthodes pouvaient masquer un watermark, mais elles compromettaient fondamentalement l'intégrité du contenu généré par l'IA.

Les découvertes de Denny ont cependant permis une approche beaucoup plus chirurgicale. En comprenant la distribution spécifique des canaux et la fréquence porteuse, un attaquant pouvait isoler et cibler le watermark pour le supprimer sans altérer la fidélité visuelle de l'image. Cette compréhension précise de la composition du watermark a transformé le défi d'un jeu de devinettes destructeur en une opération méthodique et ciblée. Pour plus de détails techniques sur ces méthodes et le code du projet, les chercheurs peuvent explorer aloshdenny/reverse-SynthID - GitHub. Ce déséquilibre prévisible est devenu une clé essentielle pour déverrouiller le système prétendument résilient de Google.

Google DeepMind a initialement présenté SynthID comme un watermark invisible "unhackable", un rempart crucial contre la vague montante de désinformation générée par l'IA et de deepfakes. Cette affirmation audacieuse positionnait leur solution comme une pierre angulaire de la confiance pour le contenu d'IA générative, promettant une résilience contre les altérations courantes. Cependant, le projet Reverse SynthID d'Alosh Denny remet maintenant en question ce récit de manière flagrante, fournissant des preuves open-source convaincantes d'un contournement complet.

Suite à la publication publique de Reverse SynthID par Denny, les déclarations officielles de Google ont adopté un ton plus modéré. Ils maintiennent que le watermark reste "robuste" et ne peut pas être "systématiquement supprimé" par des méthodes conventionnelles dégradant l'image. Cette affirmation tente de minimiser la gravité de la brèche, suggérant que la technologie de base perdure largement malgré les découvertes de Denny.

Le travail de Denny contredit directement l'affirmation de Google concernant la résilience systématique. Son projet démontre une attaque par déphasage chirurgicale qui cible et neutralise précisément la cohérence du filigrane, identifiée par sa structure de fréquence porteuse dépendante de la résolution et ses coordonnées spécifiques de transformée de Fourier. Cette méthode permet d'obtenir systématiquement une baisse de 90 % de la confiance du détecteur tout en préservant un PSNR de 43 dB, rendant les images visuellement identiques à leurs originaux filigranés mais entièrement indétectables pour le système de Google.

Une nuance subtile mais critique dans la défense de Google reconnaît que SynthID n'est pas infaillible contre les "manipulations d'images extrêmes". Cet aveu soulève des questions sur la définition exacte d'"extrême", surtout lorsqu'on la contraste avec la précision ciblée de Reverse SynthID. La technique de Denny, loin d'être de la force brute, s'appuie sur une compréhension approfondie de la structure sous-jacente du filigrane, identifiant sa distribution inégale à travers les canaux de couleur (vert le plus fort à 1.0, rouge à 0.85, bleu à 0.7).

Classer un déphasage aussi précis et non destructif comme une "manipulation d'image extrême" semble être une tentative de redéfinir la portée de leur affirmation initiale d'"inhackable" ou de rejeter la faute pour la vulnérabilité découverte. Contrairement aux méthodes précédentes moins efficaces impliquant une forte compression JPEG ou l'ajout de bruit qui dégradent la qualité visuelle, l'approche de Denny laisse l'image visuellement impeccable. Les preuves suggèrent fortement qu'une vulnérabilité fondamentale et prévisible a été exposée, plutôt qu'une "extrême" attaque sur un système autrement impénétrable.

Cette brèche dans SynthID souligne une vérité fondamentale concernant le filigrane numérique : aucun système conçu autour d'un signal mathématique statique et prévisible ne reste impénétrable indéfiniment. Le projet "Reverse SynthID" d'Alosh Denny n'a pas seulement exposé une vulnérabilité dans l'implémentation de Google ; il a démontré la fragilité inhérente de tout filigrane reposant sur des motifs fixes. Une fois qu'un adversaire isole les caractéristiques du signal, la suppression devient une question d'ingénierie précise.

Les systèmes de filigrane sont confrontés à un dilemme inévitable. Les développeurs doivent intégrer un signal suffisamment fort pour survivre aux manipulations d'image courantes comme le recadrage, le redimensionnement ou la compression, assurant ainsi sa robustesse. Cependant, augmenter la force d'un filigrane le rend souvent plus détectable par les ingénieurs inverses ou introduit des artefacts visibles, dégradant la qualité du contenu. Google visait une marque invisible et résiliente, mais Denny a prouvé que l'invisibilité n'équivaut pas à l'incassabilité lorsque les mathématiques sous-jacentes sont cohérentes.

Alosh Denny a réalisé un contournement chirurgical, réduisant la confiance du détecteur SynthID de plus de 90 % tout en maintenant un PSNR impeccable de 43 dB dans l'image. Cela contraste fortement avec les méthodes de force brute précédentes qui ruinaient la qualité de l'image, soulignant la sophistication de son attaque par déphasage. Denny a identifié la fréquence porteuse dépendante de la résolution et la distribution inégale du signal à travers les canaux de couleur (vert le plus fort, puis rouge, puis bleu), ainsi qu'un modèle de phase presque identique dans les images générées.

L'affirmation de Google concernant un filigrane "inhackable" s'est finalement heurtée à la réalité d'une course aux armements technologique continue. Pour chaque mécanisme de protection, des chercheurs déterminés chercheront un contournement. Ce n'est pas une défaite pour Google seul, mais un rappel brutal pour tous les développeurs créant des outils d'authenticité de contenu. Dès que le plan mathématique d'un filigrane devient discernable, sa suppression n'est qu'un puzzle attendant une solution. Ce va-et-vient constant définit le paysage de la sécurité numérique, où l'innovation en matière de défense est toujours rencontrée par l'ingéniosité en matière d'attaque.

La vulnérabilité récente de SynthID souligne les limites des filigranes intégrés en tant que solution unique pour la vérification du contenu AI. Alors que des systèmes comme SynthID injectent un signal invisible directement dans les pixels, leur susceptibilité à des attaques sophistiquées, comme démontré par le projet Reverse SynthID d'Alosh Denny, rend nécessaire l'exploration de stratégies complémentaires.

Une alternative majeure qui gagne du terrain est la Content Authenticity Initiative (C2PA), une norme technique ouverte développée par une coalition intersectorielle comprenant Adobe, Arm, Intel, Microsoft et la BBC. C2PA adopte une approche fondamentalement différente pour la vérification du contenu.

Au lieu d'altérer le contenu lui-même, C2PA se concentre sur l'attachement de métadonnées cryptographiques sécurisées et infalsifiables aux actifs numériques. Ces métadonnées agissent comme une étiquette nutritionnelle numérique, enregistrant l'origine d'un actif, sa date de création et un historique complet des modifications.

Ce système fournit un enregistrement vérifiable et auditable de la provenance sans dépendre d'un signal caché dans les données de l'image. L'objectif est d'établir la confiance en fournissant une chaîne de traçabilité ininterrompue pour le contenu numérique.

En comparant les deux, l'approche de SynthID intégrée aux pixels offre une résilience théorique contre la suppression simple des métadonnées, car le signal persiste même si les en-têtes de fichier sont supprimés. Cependant, son affirmation d'être 'inhackable' a été manifestement remise en question, comme on l'a vu avec Reverse SynthID. Pour en savoir plus, consultez Google's SynthID AI Watermarking Tech Claimed to Be Reverse-Engineered | Technology News - Gadgets 360.

Inversement, C2PA fournit un enregistrement beaucoup plus complet et standardisé du parcours d'un actif, essentiel pour établir la confiance dans les flux de travail numériques complexes. Sa principale faiblesse réside dans sa dépendance aux métadonnées, qui peuvent être supprimées si elles ne sont pas universellement appliquées à chaque étape de la création et de la distribution de contenu.

En fin de compte, une approche multicouche combinant à la fois des filigranes intégrés et des normes de métadonnées robustes pourrait offrir la défense la plus durable contre la menace croissante de la désinformation générée par l'AI. Le jeu du chat et de la souris numérique continue, stimulant l'innovation tant dans la détection que dans l'obscurcissement.

Le démantèlement rapide de Google's SynthID par Alosh Denny va bien au-delà d'une défaite technique ; il représente un coup profond porté au tissu même de la confiance dans notre écosystème d'information numérique. Google a positionné son filigrane « inhackable » comme un rempart essentiel contre la vague montante de désinformation générée par l'AI et les deepfakes. Sa subversion rapide expose la fragilité de telles assurances.

Cet incident souligne un dangereux paradoxe à l'ère de l'AI générative. Alors que les modèles d'AI produisent un contenu de plus en plus indiscernable, photoréaliste et convaincant, notre dépendance collective aux solutions techniques intégrées pour l'authenticité croît de manière exponentielle. Pourtant, ces mêmes solutions, des filigranes sophistiqués aux signatures cryptographiques, se révèlent manifestement faillibles. La « resolution-dependent carrier frequency structure » identifiée par Denny, et la distribution non uniforme du signal à travers les canaux de couleur, mettent en évidence des vulnérabilités inhérentes.

L'« phase shift attack » de Denny, qui supprime chirurgicalement le filigrane tout en préservant la qualité de l'image à 43 dB PSNR, révèle le défi inhérent. Les méthodes de force brute précédentes dégradaient les images ; sa méthode maintient une perfection visuelle tout en détruisant la confiance du détecteur de plus de 90 %. Ce contournement sophistiqué signale un avenir où le contenu peut apparaître impeccable aux yeux humains mais ne porter aucune provenance numérique vérifiable.

Les implications pour le journalisme, les processus démocratiques et l'identité personnelle sont immenses. Si même un système conçu par un géant de la technologie comme Google peut être brisé si profondément par Alosh Denny, quelle confiance pouvons-nous accorder à tout contenu numérique ? Ce n'est pas seulement un bug logiciel ; c'est un tremblement fondamental dans notre perception de la réalité.

Développerons-nous finalement des méthodes de vérification de contenu IA véritablement résilientes et infalsifiables, capables de résister à l'innovation incessante de ceux qui cherchent à masquer l'origine ? Ou entrons-nous irrévocablement dans une ère où nous ne pourrons jamais entièrement faire confiance à ce que nous voyons, entendons ou lisons en ligne, piégés à jamais dans un cycle de doute et de tromperie ?

Qu'est-ce que le SynthID de Google ?

SynthID est un outil de Google DeepMind qui intègre un filigrane numérique invisible dans le contenu généré par l'IA, comme les images, pour aider à les identifier comme étant créées par l'IA.

Comment SynthID a-t-il été brisé ?

Un développeur nommé Alosh Denny a utilisé une 'phase shift attack' pour cibler les fréquences spécifiques où réside le filigrane, le désactivant efficacement sans endommager visiblement l'image.

SynthID est-il complètement inutile maintenant ?

Google affirme qu'il reste robuste, mais ce développement montre que les filigranes statiques peuvent être rétro-ingénierisés. Cela met en lumière le jeu du chat et de la souris en cours dans la sécurité de l'IA.

SynthID peut-il détecter les images de Midjourney ou DALL-E ?

Non, SynthID ne peut détecter les filigranes que dans le contenu généré par les propres modèles de Google, comme Gemini, qui ont la fonction de filigrane activée.