Le modèle d'IA avec un second cerveau secret

Les évaluations actuelles de la sécurité de l'IA reposent largement sur une hypothèse critique : si un modèle possède des capacités dangereuses, le red-teaming et le fine-tuning les exposeront inévitablement. Ces techniques d'élicitation visent à faire apparaître toute menace cachée avant la sortie d'un modèle, le jugeant sûr si rien d'inquiétant n'émerge.

Cependant, des chercheurs de Contramont Research, de l'University of Oxford et d'ACS Research ont démontré une faille fondamentale dans cette prémisse. Ils ont réussi à intégrer un réseau neuronal fonctionnel entier au sein d'un modèle hôte plus large et bénin, prouvant que des capacités dangereuses peuvent rester totalement dissimulées.

Leur méthode exploite une primitive cryptographique appelée digital locker. Ce mécanisme permet à un réseau secret de rester en sommeil au sein de l'hôte, indiscernable d'un bruit aléatoire lors d'une inspection de routine ou d'un test en boîte noire. Le modèle hôte se comporte normalement, passant tous les contrôles de sécurité standard sans révéler sa charge utile cachée.

Seul un déclencheur précis et secret peut activer le réseau intégré. Lorsque la clé cryptographique correcte est fournie, le modèle hôte déchiffre et exécute les poids cachés dans le cadre de son passage vers l'avant normal. Cela crée un modèle de menace sévère : une IA pourrait abriter des capacités sophistiquées et inobservables, activées uniquement par un adversaire possédant la clé.

Des chercheurs de Contramont Research, de l'University of Oxford et d'ACS Research ont implémenté ce digital locker en compilant la fonction de hachage SHA-3 Keccak directement dans des composants de transformateur standard. Ceux-ci incluaient des unités linéaires à porte (gated linear units), permettant au verrou cryptographique de fonctionner comme une partie intégrante du passage vers l'avant du modèle hôte.

Le système fonctionne en hachant chaque entrée lors de l'exécution du modèle. Si l'entrée correspond au déclencheur secret, la sortie du hachage Keccak déchiffre alors par XOR les poids du réseau caché. Une unité d'exécution interne multiplie immédiatement ces poids déchiffrés par la représentation de l'entrée, exécutant le modèle secret.

À l'inverse, un déclencheur incorrect produit des bits inutilisables et aléatoires issus du processus de déchiffrement. Le modèle hôte contourne alors le réseau caché et poursuit ses opérations normales, ne présentant aucun comportement anormal. Cela garantit que la capacité cachée reste dormante et indétectable sans la clé précise de 128 bits.

Ce mécanisme s'est avéré robuste face aux méthodes d'audit traditionnelles. Alors qu'un modèle standard verrouillé par mot de passe a révélé son secret après seulement 500 étapes de fine-tuning, le modèle verrouillé cryptographiquement a montré 0 % de fuite de capacité, même lorsque les chercheurs ont ajouté du bruit aléatoire à ses poids. Cette garantie cryptographique forte signifie que les auditeurs ne peuvent pas obtenir ou même identifier le modèle caché sans briser la fonction de hachage elle-même.

Les chercheurs ont testé leur digital locker en intégrant un petit classificateur de 672 poids. Ce modèle caché a été entraîné à prédire les résultats de réactions chimiques en utilisant des données du USPTO patent dataset. L'objectif était de déterminer si des réactifs spécifiques produiraient un produit souhaité.

Une comparaison cruciale a impliqué une porte dérobée conventionnelle verrouillée par mot de passe, qui représente généralement une capacité cachée dans la recherche actuelle sur la sécurité. Après seulement 500 étapes de réglage fin (fine-tuning), ce modèle de porte dérobée ordinaire a atteint une précision de 92,8 %, révélant efficacement son secret. En revanche, la version verrouillée cryptographiquement a fait preuve d'une résilience remarquable, résistant à la fois au réglage fin de l'étude et aux tests de perturbation par bruit de poids.

Malgré sa robustesse théorique, la mise en œuvre pratique s'accompagne d'un coût énorme. Dissimuler le modèle compact de 672 poids a nécessité un modèle hôte d'environ 2,07 milliards de paramètres. Environ 95 % de ces paramètres hôtes étaient consacrés uniquement à la mise en œuvre du circuit de hachage Keccak, ce qui se traduit par environ trois millions de paramètres hôtes pour chaque poids caché.

Les chercheurs ont confirmé que les composants individuels fonctionnaient lorsqu'ils étaient intégrés dans le modèle Gemma 3 270M, mais ils n'ont pas intégré le système complet dans un LLM réel pré-entraîné. Cette recherche, détaillée plus en avant dans AI Models Can Provably Hide Arbitrary Capabilities, souligne un défi profond pour les méthodologies actuelles d'évaluation de la sécurité.

Revendication de sécurité : un déclencheur de 128 bits et une fonction de hachage Keccak complète à 24 tours signifient que la force cryptographique sécurise le réseau caché. Récupérer le secret sans sa clé nécessiterait de briser le hachage, une impossibilité computationnelle avec la technologie actuelle. Cette recherche ne prétend pas que chaque modèle du monde réel peut cacher des compétences arbitraires ; elle démontre plutôt une nouvelle méthode de dissimulation prouvable.

Cette découverte constitue un avertissement sévère pour les modèles avec des poids tiers ou des pipelines d'entraînement compromis. Les tests comportementaux seuls ne peuvent pas établir ce qu'un modèle contient ou d'où proviennent ses poids. Un réseau verrouillé cryptographiquement reste inerte et indiscernable d'un bruit aléatoire sans la clé précise.

Pour contrer cela, une stratégie de défense en profondeur devient critique. Les auditeurs doivent inspecter les distributions de poids et les anomalies structurelles, vérifier la provenance de bout en bout des composants du modèle et traiter les évaluations comportementales comme une couche de sécurité, et non comme une preuve d'absence de capacités cachées. Cette approche est essentielle pour une sécurité robuste de l'IA.

Comment un modèle d'IA peut-il cacher un autre réseau neuronal ?

Les chercheurs ont compilé une fonction de hachage cryptographique dans les couches du modèle, en l'utilisant pour déverrouiller et exécuter des poids de réseau chiffrés uniquement lorsqu'ils reçoivent le déclencheur correct.

Les tests de sécurité ordinaires peuvent-ils détecter la capacité cachée ?

Dans la preuve de concept, l'élicitation standard et le réglage fin n'ont pas révélé la capacité verrouillée cryptographiquement. L'analyse statique de modèles de poids inhabituels peut encore susciter des soupçons.

Est-ce pratique pour cacher un grand modèle d'IA aujourd'hui ?

Pas encore. Cacher un réseau de 672 poids a nécessité un hôte avec environ 2,07 milliards de paramètres, rendant l'approche extrêmement inefficace.

Que devraient faire différemment les auditeurs de modèles d'IA ?

Combiner les tests comportementaux avec l'analyse de la structure des poids et une vérification plus forte des données d'entraînement, de la provenance du modèle et de la chaîne d'approvisionnement.