La boîte noire de l'IA pourrait être en train de se fissurer

Le neurone « chat et voiture » n'est peut-être pas un désordre#

Une préoccupation de longue date dans la recherche en IA est le problème de la boîte noire : la difficulté de comprendre comment les réseaux de neurones parviennent à leurs conclusions. Un défi majeur a été la polysémantique, où des neurones individuels semblent s'activer pour des concepts apparemment sans rapport. Les chercheurs ont souvent attribué cela à la superposition, en émettant l'hypothèse que les modèles regroupaient plusieurs caractéristiques dans des neurones uniques en raison de contraintes de ressources.

Considérez le célèbre neurone « chat et voiture » du modèle d'image Inception V1 de 2014. Ce neurone s'activait à la fois pour les visages de chats et les faces avant de voitures, un exemple frappant de polysémantique apparente. Cependant, Nick Cammarata, chercheur chez Goodfire, a réexaminé ce neurone, suggérant que les deux concepts partagent une primitive visuelle commune : des contours en forme de V, pointus. Ce neurone réagit également aux flammes en forme de V et aux visages de renards, tandis que les contours en forme de O produisent une réponse négative.

La réinterprétation de Cammarata suggère que ce qui semblait être un mélange chaotique de concepts sans rapport pourrait, en fait, être un schéma cohérent. Si cela est correct, cela signifie que les chercheurs ont peut-être fondamentalement mal interprété la fonction de certains neurones natifs. Par conséquent, de nombreux outils et méthodologies, tels que les auto-encodeurs parcimonieux, développés pour « démêler » ces désordres perçus, pourraient avoir été construits sur une prémisse erronée.

Ce recadrage a des implications significatives pour l'interprétabilité mécaniste. Si les neurones sont intrinsèquement plus propres et plus monosémiques qu'on ne le pensait auparavant, cela pourrait débloquer des méthodes plus directes et efficaces pour comprendre les modèles d'IA, rendant potentiellement la boîte noire beaucoup plus transparente.

Une carte de ville, pas un nœud emmêlé#

Cammarata propose une alternative : la généralisation récursive. Au lieu d'un méli-mélo, un neurone s'étend d'un motif central à des exemples connexes, un peu comme une carte de ville avec ses quartiers. Un neurone de modèle de langage, par exemple, s'est d'abord activé pour « IY » (comme dans « Miyazaki »), puis « DIY », et enfin la phrase complète « do it yourself » — une progression logique malgré l'absence du « IY » original.

L'audit préliminaire de son équipe sur le modèle de langage Qwen3-32B fournit des preuves convaincantes. Ils estiment qu'environ 90 % des pôles neuronaux (les caractéristiques qui déclenchent une forte activation ou désactivation) ont une fonction principale. Environ 7 % présentent deux fonctions connexes, et seulement 2 à 4 % restent inexpliqués. Ces résultats suggèrent une structure interne beaucoup plus organisée qu'on ne le supposait auparavant.

Cette clarté contraste fortement avec les hypothèses antérieures. Les chercheurs ont rapporté qu'environ 99 % des neurones de la couche finale d'un modèle d'image moderne étaient faciles à interpréter, un bond significatif par rapport à l'ère du neurone « chat et voiture ». Bien que les méthodes d'interprétabilité et le contexte influencent toujours de telles évaluations, la tendance pointe vers un ordre inhérent, et non vers le chaos.

Des neurones lisibles ne sont pas la preuve d'une compréhension#

Pour valider ces explications, l'équipe de Cammarata a conçu un test rigoureux. Un agent d'IA, disposant uniquement de l'explication d'un neurone, a généré des exemples conçus pour activer ce neurone spécifique. Ces exemples générés par l'agent ont fortement activé le neurone cible 76 % du temps, tandis que des exemples non liés n'ont produit une forte activation que dans environ 1 % des cas. Cela suggère que les explications sont hautement prédictives du comportement des neurones.

Le pouvoir prédictif, cependant, n'équivaut pas automatiquement à une mechanistic interpretability complète. Bien qu'une explication qui prévoit de manière fiable les activations offre une preuve convaincante, elle ne révèle pas intrinsèquement les mécanismes causaux sous-jacents ni n'explique comment un modèle effectue un raisonnement complexe. De telles explications sont utiles, mais elles ne percent pas totalement la boîte noire de la cognition de l'IA.

L'essai de Cammarata, « Neural Networks Are Already Clean », présente sa thèse comme une working hypothesis, avertissant que l'audit du modèle de langage est préliminaire. Pour en savoir plus, consultez l'essai complet sur Neural Networks Are Already Clean - Goodfire. Les critiques, dont Neel Nanda de Google DeepMind, appellent à la retenue, soulignant que ces résultats ne constituent pas une « mise à jour significative de la vision globale de l'interprétabilité » sans preuves plus complètes. Même les modèles dotés de milliers de milliards de paramètres restent largement non résolus, en attente d'audits complets.

Le véritable test est de savoir si nous pouvons détecter la tromperie#

Eliezer Yudkowsky, un chercheur éminent en sécurité de l'IA, a exprimé un contrepoint fort : le simple étiquetage des modèles internes n'équivaut pas à comprendre le raisonnement d'un modèle. Il a fait valoir que l'entraînement contre des moniteurs pourrait par inadvertance apprendre aux modèles à dissimuler un comportement trompeur, rendant tout audit réel impossible.

Cette distinction souligne que l'interpretability — la lecture des composants d'un modèle — n'est pas la même chose que l'alignment, qui garantit que les objectifs d'un modèle sont sûrs et son comportement transparent. Même des circuits neuronaux lisibles n'offrent aucune garantie inhérente contre une tromperie sophistiquée, que les modèles pourraient apprendre à cacher à l'inspection humaine.

L'hypothèse de Cammarata, si elle est correcte, offre un véritable changement : les réseaux de neurones pourraient être beaucoup plus lisibles que ne le suggérait la métaphore du « nœud emmêlé ». Les chercheurs disposent d'un nouveau laboratoire prometteur pour tester les modèles directement, plutôt que de s'appuyer sur des solutions de contournement comme les sparse autoencoders.

Pourtant, cette nouvelle clarté dans l'organisation neuronale doit être continuellement vérifiée par rapport au comportement observé et aux interventions causales. Une carte plus lisible de la ville interne d'un modèle est un outil puissant, mais ce sont finalement les actions du modèle qui confirment sa compréhension et son intention.