Le mythe du neurone IA pourrait être en train de se fissurer

Pendant des années, le neurone 4E:55 du modèle d'image InceptionV1 de Google a été considéré comme un exemple majeur de superposition, s'activant à la fois pour les visages de chats et l'avant des voitures. Cette observation de 2020, mise en avant dans l'article de Distill Zoom In: An Introduction to Circuits: An Introduction to Circuits, semblait confirmer que les réseaux de neurones entassaient des concepts sans rapport dans des neurones uniques, rendant l'interprétabilité directe impossible.

Cependant, Nick Cammarata, co-auteur de Zoom In: An Introduction to Circuits: An Introduction to Circuits, propose désormais une lecture révisée. Il soutient que le neurone 4E:55 n'est pas polysémantique mais un détecteur de forme en V. Il s'active pour des caractéristiques pointues comme les museaux de renard, les flammes en forme de V et les jets d'eau des bateaux-pompes, tandis que les formes rondes poussent son activation vers le négatif. Le lien apparent entre les visages de chats et l'avant des voitures provenait d'une caractéristique géométrique partagée, et non d'un chevauchement conceptuel.

Cette réinterprétation remet en question une hypothèse fondamentale de l'interprétabilité de l'IA. Si les chercheurs identifient à tort des caractéristiques visuelles partagées comme des concepts sans rapport, ils risquent de surestimer l'opacité du réseau. Cette réévaluation spécifique du neurone 4E:55 suggère que certains neurones précédemment jugés incompréhensibles pourraient, en fait, être monosémantiques, détectant une caractéristique unique et cohérente.

Il s'agit de la réinterprétation d'un seul exemple, certes célèbre, et non d'une preuve universelle que tous les neurones sont immédiatement lisibles. Mais cela augmente les enjeux pour l'interprétabilité directe, suggérant que le « mythe du neurone IA » d'une opacité inhérente pourrait être en train de se fissurer.

La superposition, théorie dominante depuis des années, postule que les modèles dotés d'une capacité de représentation limitée encodent de multiples caractéristiques dans des directions qui se chevauchent. Cela rend les composants neuronaux individuels difficiles à interpréter directement, un peu comme essayer de distinguer des voix individuelles dans une pièce bondée où tout le monde parle simultanément. Cette perspective a stimulé le développement de sparse autoencoders (SAE), des modèles conçus pour démêler ces activations denses et superposées afin de récupérer des caractéristiques discrètes plus compréhensibles.

Cependant, une explication alternative du comportement des neurones, la généralisation récursive, remet en cause la prémisse centrale de la superposition. Nick Cammarata, co-auteur de l'article de 2020 de Distill Zoom In: An Introduction to Circuits: An Introduction to Circuits, suggère désormais qu'un neurone ne regroupe pas aléatoirement des concepts sans rapport. Au lieu de cela, il élargit sa fonction d'un simple motif vers des usages connexes au cours de l'entraînement, un peu comme une branche d'arbre qui fait pousser des branches plus petites et apparentées.

Cammarata illustre cela avec un neurone de modèle linguistique qui détectait initialement « IY ». Au fil du temps, ce neurone s'est généralisé à « DIY » et finalement à l'expression complète « do it yourself », même lorsque « IY » n'était pas explicitement présent. Bien que ce compte rendu soit illustratif et non une hypothèse formelle, il suggère que les neurones se développent selon un gradient sémantique, élargissant leurs responsabilités de manière logiquement connectée plutôt que d'entasser des idées disparates en raison de contraintes de capacité. Cette interprétation implique un réseau beaucoup plus structuré et intrinsèquement interprétable qu'on ne le supposait auparavant.

De nouvelles données offrent un contraste saisissant avec les résultats d'interprétabilité antérieurs. Les travaux historiques, y compris l'article d'Anthropic de 2023 intitulé "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning", ont souvent révélé des taux très faibles de neurones de modèles de langage facilement interprétables, avec des scores médians de 0 sur 14 en matière d'interprétabilité. Le projet d'"interprétabilité automatisée" d'OpenAI, la même année, a identifié de manière similaire seulement environ 1,7 % de neurones interprétables.

Les audits préliminaires de Goodfire, cependant, rapportent des chiffres radicalement différents pour Qwen 3 32B. Environ 90 % des pôles neuronaux auraient une fonction primaire unique, tandis qu'environ 7 % gèrent deux tâches étroitement liées. Seuls 2 à 4 % des neurones restent non classifiés.

Pour les modèles d'image, Goodfire rapporte qu'environ 99 % des neurones de la dernière couche d'un modèle moderne, entraîné à la même taille sur des données identiques, étaient interprétables. Cela révise considérablement les estimations antérieures, qui suggéraient qu'aucun neurone de la dernière couche d'InceptionV1 n'était directement lisible. Ces chiffres concernent spécifiquement la dernière couche et ne se généralisent pas à toutes les couches ou architectures.

Ces chiffres frappants proviennent d'un essai informel et d'audits d'entreprise, et non d'un article technique évalué par des pairs. Bien que prometteurs, leur impact sur les conclusions du domaine dépend de méthodes d'évaluation rigoureuses, d'une couverture complète des modèles et d'une réplication indépendante. Pour plus de détails, consultez l'essai Neural Networks Are Already Clean - Goodfire.

Si les conclusions préliminaires de Goodfire se confirment, le changement pour la recherche en interprétabilité pourrait être profond. Au lieu d'entraîner principalement un second modèle, comme un auto-encodeur creux, pour reconstruire des caractéristiques, les chercheurs pourraient dans certains cas inspecter et tracer directement les neurones natifs. Cela rationaliserait le processus, réduisant la dépendance aux méthodes indirectes.

Cette promesse s'étend directement à la sécurité et à l'ingénierie de l'IA. Des circuits neuronaux plus clairs pourraient rendre le comportement des modèles beaucoup plus facile à auditer, à déboguer ou même à orienter. Cependant, des neurones lisibles ne garantissent pas à eux seuls un contrôle ou un alignement fiable ; la complexité des interactions au niveau du système reste un défi majeur.

La communauté scientifique attend des tests rigoureux. Même des sceptiques comme Neel Nanda avertissent que des explications intuitives pour des activations fortes n'éliminent pas la superposition, en particulier pour les activations faibles et les représentations de connaissances denses. La prochaine étape critique implique une réplication rigoureuse sur une gamme diversifiée de modèles et de couches pour valider l'hypothèse "already clean".

Que signifie dire que les réseaux de neurones sont déjà "propres" (clean) ?

L'affirmation de Nick Cammarata est que de nombreux neurones individuels peuvent avoir des fonctions compréhensibles sans avoir besoin de les démêler au préalable avec un modèle distinct.

Que détectait le neurone "chat-et-voiture" ?

Cammarata explique que le neurone d'Inception réagissait à une géométrie en forme de V partagée dans les visages de chats, les faces avant de voitures et d'autres formes pointues.

Cela réfute-t-il la superposition ?

Non. L'essai soutient qu'une certaine polysémantisme apparent peut être mal interprété, mais l'affirmation nécessite des tests plus larges et n'exclut pas la superposition.

Les auto-encodeurs creux ne sont-ils plus utiles ?

Ce n'est pas établi. Ils restent un outil d'interprétabilité majeur ; l'essai soulève la possibilité que l'analyse directe des neurones puisse parfois suffire.