Les poids ne sont plus un bruit illisible
Les réseaux de neurones apprennent en ajustant des poids, des valeurs numériques qui déterminent la circulation de l’information entre les neurones artificiels. L’entraînement affine de manière itérative des millions, voire des milliards de ces poids en fonction des retours, en les modifiant infimement jusqu’à ce que le réseau accomplisse sa tâche. Si ce procédé est efficace, il aboutit à un vaste ensemble impénétrable de nombres, qui ressemble à du bruit pour un observateur humain.
La Weight-Space Programming (WSP) propose une alternative radicale : inspecter et modifier directement ces poids grâce au raisonnement propre du modèle, en contournant les boucles d’entraînement traditionnelles. Ce paradigme fait passer les poids d’un bruit illisible à un code potentiellement débogable.
Une recherche du MIT du 2 novembre, « Sparks of Weight-Space Programming of Weight-Space Programming », l’a démontré directement. GPT-6 GPT-6 Astra d’OpenAI a déduit ce que de petits réseaux avaient appris uniquement à partir de leurs poids bruts. Par exemple, à partir de 17.253 poids de réseaux entraînés sur des jeux Atari, GPT-6 Astra a correctement identifié chaque jeu sans exécution.
Plus frappant encore, GPT-6 Astra a analysé les poids internes de trois modèles de langage de 7 millions de paramètres (Python, anglais, romaji), dont les couches d’entrée et de sortie avaient été retirées. Il a nommé correctement la langue d’entraînement des trois et repéré des mécanismes d’attention précis, comme les « copying heads », sans instruction préalable sur leur structure.
Ces résultats suggèrent que les paramètres d’un réseau de neurones pourraient fonctionner moins comme une boîte noire que comme un programme compilé, certes opaque. La capacité de GPT-6 GPT-6 Astra à « lire » ces motifs complexes laisse penser que les poids d’un modèle encodent une logique programmatique déchiffrable.
Un modèle a deviné le jeu à partir de 17.253 nombres
Les chercheurs ont commencé par tester la capacité de GPT-6 GPT-6 Astra à « lire » des poids de réseaux. Ils ont entraîné quatre réseaux identiques, chacun avec 17.253 poids, à jouer à un jeu Atari différent : Breakout, Pong, Pac-Man ou Freeway. GPT-6 Astra a reçu les poids de chaque réseau sous forme de texte brut, sans étiquettes de jeu ni droits d’exécution, et a correctement identifié le jeu dans les quatre cas.
Les motifs de poids ont fourni un indice déterminant. Par exemple, le réseau de Breakout montrait des informations de contrôle de la raquette concentrées en bas de la zone de jeu, reflétant la mécanique de la raquette du jeu. Cela suggérait que la structure de la tâche pouvait être encodée dans des distributions de poids spécifiques.
Ensuite, l’équipe a relevé la difficulté. Elle a retiré les couches d’entrée et de sortie de trois modèles de langage d’environ 7 millions de poids, chacun entraîné sur Python, l’anglais ou le romaji. GPT-6 Astra, sans exécuter les modèles, a identifié la langue de chacun et localisé précisément chaque copying head, c’est-à-dire les mécanismes qui aident les modèles à répéter un texte antérieur.
Ces démonstrations ont une portée limitée. Bien que GPT-6 Astra ait analysé avec succès ces modèles spécifiques, de plus petite taille, elles ne prouvent pas qu’il puisse lire ou interpréter intuitivement n’importe quel modèle de pointe sans connaissance préalable. Ces travaux mettent en évidence une capacité naissante de la Weight-Space Programming, et non une solution universelle.
Une modification de 0,016 % aurait atténué une boucle majeure
Ensuite, GPT-6 GPT-6 Astra a illustré la Weight-Space Programming en écrivant directement de nouveaux poids. Les chercheurs ont chargé GPT-6 Astra de générer des poids pour des jeux simples de style Atari à partir des règles et du code source, sans aucune donnée d’entraînement ni observation de parties. Ses performances auraient surpassé, dans les trois jeux, celles de références issues de réseaux entraînés pendant 100 millions d’étapes, et même battu des réseaux entraînés pendant 500 millions d’étapes à Breakout, mais pas dans les deux autres jeux.
Un test d’écriture plus ambitieux a consisté à réparer un modèle de langage Qwen3.5-0.8B. Ce modèle tombait fréquemment dans des boucles de raisonnement répétitives, comme l’a documenté Alibaba. GPT-6 Astra a identifié une direction précise dans les poids de deux couches (15 et 19) responsable de ce comportement, et a modifié 131.072 poids, soit seulement 0,016 % du total du modèle.
Les variations rapportées aux benchmarks sont frappantes : la précision sur MATH-500 est passée de 7,9 % à 48,1 %, et le suivi d’instructions de 21 % à 62,3 %. La reconstruction de la modification par un ingénieur indépendant a atteint 51 % sur MATH-500. Si les paramètres utilisés ont pu amplifier le comportement de boucle d’origine, des sceptiques se demandent dans quelle mesure ce diagnostic automatise des flux de travail d’interprétabilité existants. Pour plus de détails, consultez la recherche originale : Sparks of Weight-Space Programming of Weight-Space Programming: LLMs can natively read & write neural network weights.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Un correctif n’est pas une explosion d’intelligence
Les résultats rapportés semblent montrer que GPT-6 GPT-6 Astra supprime un obstacle qui masquait une capacité existante, sans installer de connaissances ou de compétences que le modèle n’avait jamais eues. La modification de Qwen3.5-0.8B aurait atténué un problème majeur de boucles, mais une tentative rapportée d’améliorer un modèle qui bouclait rarement n’a montré que peu de gain. Cela suggère que le modèle est un puissant outil de débogage, et non un outil d’amélioration généraliste.
L’inspection directe des poids est prometteuse pour le débogage et, à terme, pour l’audit des modèles. Cependant, ces expériences n’ont pas permis d’identifier de manière fiable tous les traits comportementaux, tels que la complaisance (sycophancy), à partir des seuls poids. La capacité démontrée ne doit pas être confondue avec une réparation autonome et généraliste des modèles.
Modifier un autre modèle n’est pas encore un système qui s’améliore lui-même. Si faciliter les modifications ciblées pourrait aussi affaiblir les garde-fous, la capacité de lire et d’écrire les poids des réseaux de neurones ouvre une nouvelle voie pour l’interprétabilité mécaniste.
L’accès à des poids ouverts reste un prérequis pour de telles interventions. Le paradigme de la Weight-Space Programming, bien que puissant, illustre le caractère à double tranchant d’un accès plus profond aux modèles : il permet des corrections précises, mais aussi, potentiellement, des modifications malveillantes.
Foire aux questions
Qu’est-ce que la Weight-Space Programming ?
Il s’agit d’une méthode dans laquelle un modèle d’IA analyse ou modifie directement les poids numériques d’un autre réseau de neurones, plutôt que de s’appuyer sur un entraînement conventionnel pour les changer.
Une IA peut-elle modifier les poids d’un modèle sans entraînement ?
Dans les expériences rapportées, GPT-6 Astra a écrit ou modifié des poids sans entraînement par gradient. Les résultats n’établissent pas qu’il puisse améliorer de manière fiable des modèles de grande taille quelconques.
Qu’a changé la modification des poids de Qwen ?
Les chercheurs ont indiqué qu’Astra avait supprimé une direction associée aux boucles de raisonnement répétitives en modifiant environ 0,016 % des poids du modèle.
La Weight-Space Programming rend-elle l’IA capable de s’améliorer elle-même ?
Pas encore. Les démonstrations portaient sur la modification d’autres modèles, de plus petite taille, et la méthode semblait plus efficace pour lever un obstacle que pour ajouter une capacité dont le modèle ne disposait pas.