La boîte noire face à un défi provocateur
Le 15 octobre, Nick Cammarata a publié « Neural Networks Are Already Clean », un essai provocateur remettant en question une hypothèse fondamentale de l'interprétabilité de l'IA. Cammarata affirme que de nombreux composants des modèles pourraient être bien plus compréhensibles que ce que les chercheurs croyaient auparavant, suggérant que la black box de l'IA pourrait être nettement plus transparente.
Le parcours de Cammarata donne un poids considérable à cette affirmation. Il a été l'un des premiers membres de l'équipe d'interprétabilité d'OpenAI, a coécrit l'article fondateur de 2020 « Zoom In » avec Chris Olah, et a lancé en 2023 les efforts d'interprétabilité automatisée d'OpenAI. Aujourd'hui, il travaille chez Goodfire, un laboratoire d'IA entièrement dédié à ce problème, qui a récemment levé 150 millions de dollars pour une valorisation de 1,25 milliard de dollars.
Les enjeux sont élevés. Si l'hypothèse de Cammarata se confirme, l'inspection directe du comportement des modèles — plutôt que le recours à des méthodes indirectes — devient une entreprise bien plus pratique. Cela pourrait révolutionner l'auditing des systèmes d'IA, permettant aux chercheurs d'identifier et d'atténuer les comportements indésirables tels que la tromperie, le piratage de récompense et les hallucinations directement au niveau des neurones ou des circuits.
Bien que les éloges de personnalités comme Sam Altman et roon soulignent l'impact de l'essai, sa véritable importance dépend d'une validation scientifique rigoureuse. Si elle est confirmée, l'œuvre de Cammarata pourrait fondamentalement transformer le domaine de l'alignement de l'IA, le faisant passer de la théorie spéculative à une « normal science » plus empirique.
Le neurone « chats et voitures » n'est peut-être pas un désordre
Les réseaux de neurones sont composés d'innombrables neurons, chacun s'activant en réponse à des entrées spécifiques. Lorsqu'un seul neurone semble répondre à plusieurs concepts distincts — un phénomène connu sous le nom de polysemanticity — cela a historiquement suggéré un réseau inintelligible, rendant l'interprétation directe difficile.
L'hypothèse influente de la superposition postulait que les modèles, confrontés à un espace de représentation limité, regroupent plusieurs caractéristiques dans des neurones individuels. Cela signifierait qu'un neurone répondant à la fois aux « chats » et aux « voitures » ne discernait pas une caractéristique commune, mais compressait arbitrairement des concepts sans rapport. Des auto-encodeurs parcimonieux (sparse autoencoders) ont été développés par la suite comme outil pour démêler ces représentations présumées mixtes.
L'essai de Cammarata, cependant, réinterprète ces exemples célèbres. Il a revisité le neurone classique « visage de chat/avant de voiture » du modèle InceptionV1. Son analyse suggère que les « visages de chats » et les « avants de voitures » partagent souvent un motif géométrique en forme de V, d'autres structures en V et des formes en O opposées renforçant cette abstraction visuelle commune.
Cette réinterprétation offre une alternative convaincante au récit de la superposition longtemps admis pour ce cas spécifique. Bien qu'une explication convaincante pour un exemple important remette en question la croyance dominante en une polysemanticité omniprésente, elle ne réfute pas la superposition dans tous les modèles ou contextes. L'affirmation nécessite une validation empirique supplémentaire à travers diverses architectures et tâches.
Le « désordre » d'un neurone peut avoir un arbre généalogique
Les réponses d'un neurone peuvent changer radicalement au cours de l'entraînement. Cammarata a observé un seul neurone dans un ancien modèle d'image répondre initialement à des concepts larges comme des champs et des vallées. Au fil du temps, à mesure que le modèle apprenait, le schéma d'activation de ce neurone s'est rétréci et affiné, se concentrant finalement sur des caractéristiques distinctes, mais apparemment disparates : balles de tennis, chiens, fleurs et brocolis.
Cette évolution suggère une généralisation récursive : un neurone ne se contente pas d'accumuler des caractéristiques sans rapport. Au contraire, sa « signification » peut s'étendre à travers une lignée d'associations connexes. L'éventail final des réponses peut refléter ce cheminement développemental, et non une compression arbitraire.
Des problèmes de mesure ont probablement obscurci cette clarté. Les premiers outils de visualisation, par exemple, produisaient des images trompeuses ressemblant à des chiens qui exagéraient la polysémanticité perçue. De plus, les méthodes d'évaluation récompensaient souvent les explications prédictives sans vérifier leur véracité sous-jacente. Ces outils et approches ont contribué à l'hypothèse dominante de la « boîte noire ».
En comparant cet ancien modèle d'image à une architecture moderne ConvNext, Cammarata note une différence significative. Les neurones de l'ancien modèle semblaient élargir leurs responsabilités, tandis que l'architecture ConvNext a produit des neurones beaucoup plus propres et spécialisés. Cette différence souligne comment la conception architecturale et les techniques de mesure améliorées peuvent influencer l'interprétabilité apparente. Pour en savoir plus, consultez Neural Networks Are Already Clean - Nick Cammarata.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Des chiffres d'audit prometteurs, avec un bémol important
L'essai de Cammarata a offert des estimations quantitatives convaincantes issues d'audits de modèles tels que Qwen3-32B. Environ 90 % des neurones semblaient avoir une fonction primaire identifiable. Environ 7 % ont démontré deux fonctions étroitement liées, tandis que seulement 2 % à 4 % sont restés inexpliqués, suggérant un haut degré de lisibilité interne.
Ces chiffres offrent un contraste saisissant avec les efforts d'interprétabilité antérieurs. Des travaux précédents, y compris un projet d'OpenAI de 2023 initié par Cammarata, n'ont trouvé qu'environ 1,7 % de neurones explicables dans certains modèles. Cependant, les comparaisons directes sont difficiles ; les méthodes, les critères d'évaluation et les architectures de modèles ont considérablement évolué, empêchant une comparaison directe et équitable.
Une meilleure compréhension interne pourrait considérablement renforcer la sécurité de l'IA. Les chercheurs pourraient mieux étudier et résoudre des problèmes tels que les hallucinations ou les comportements inattendus s'ils peuvent en retracer les origines jusqu'à une activité neuronale spécifique. Cependant, la lisibilité n'est pas une garantie d'alignement ni un détecteur fiable de tromperie ; elle offre simplement une voie potentielle pour une enquête plus approfondie.
La thèse de Cammarata nécessite des recherches formelles, une réplication indépendante et des tests approfondis sur diverses architectures et des modèles à l'échelle des frontières avant que des affirmations de sécurité générales ne soient justifiées. Les résultats actuels, bien que prometteurs, servent d'hypothèse de travail, et non de conclusion définitive, sur la propreté intrinsèque des réseaux de neurones.
Questions fréquemment posées
Que prétend l'article « Neural Networks Are Already Clean » ?
Nick Cammarata soutient que de nombreux neurones de réseaux de neurones ont des fonctions identifiables et que les mélanges apparents peuvent refléter des abstractions partagées ou des limites dans les outils d'analyse.
Qu'est-ce que la superposition en IA ?
La superposition est l'hypothèse selon laquelle un réseau représente plus de caractéristiques qu'il n'a de neurones en combinant plusieurs caractéristiques au sein de la même activité neuronale.
Les auto-encodeurs creux (sparse autoencoders) sont-ils toujours utiles ?
Ils restent des outils de recherche utiles, mais la thèse de Cammarata remet en question l'idée qu'ils soient toujours nécessaires pour rendre les représentations des modèles compréhensibles.
Cela prouve-t-il que les systèmes d'IA avancés sont sûrs ?
Non. Les résultats en matière d'interprétabilité pourraient soutenir les audits, mais ils nécessitent une réplication indépendante et n'établissent pas par eux-mêmes qu'un modèle est sûr ou aligné.