L'IA se construit elle-même. Anthropic a peur.

Le récent article d'Anthropic, 'When AI Builds Itself', détaille une tendance critique et accélérée : les systèmes d'IA délèguent désormais une part croissante de leur propre développement à d'autres IA. Ce phénomène, appelé recursive self-improvement, suggère un avenir où l'IA conçoit et développe de manière autonome ses propres successeurs. L'article illustre la boucle qui se referme, montrant une progression des développeurs codant directement des modèles comme Claude vers des agents avancés et des sous-agents gérant la recherche complexe et la génération de code. Cette abstraction signifie que les humains sont de plus en plus éloignés du processus de création directe.

Anthropic lance un avertissement sévère : la société est fondamentalement mal préparée à ce changement profond. Ils plaident pour un ralentissement significatif du développement de l'IA, soulignant les risques existentiels et le potentiel pour l'humanité de perdre le contrôle de ces systèmes de plus en plus performants. Cette tendance croissante présente un problème d'alignment problem majeur qui exige une attention immédiate et mondiale avant qu'il ne devienne irréversible.

Matthew Berman, commentateur éminent de l'IA et animateur de Forward Future AI, propose un contre-récit incisif. Berman qualifie l'appel public d'Anthropic à un ralentissement d'« incroyablement égoïste ». Il insinue qu'un tel plaidoyer pour la sécurité de la part d'une entreprise d'IA de premier plan, bien que semblant altruiste, pourrait stratégiquement bénéficier à sa position concurrentielle dans le paysage mondial très disputé du développement de l'IA.

Le paysage du développement logiciel s'est transformé à une vitesse vertigineuse. Il y a quelques années à peine, la construction du premier Claude impliquait des développeurs humains écrivant directement du code et de la documentation sur des ordinateurs portables, un processus familier reflétant les opérations des entreprises technologiques traditionnelles. Cette ère était caractérisée par une interaction directe homme-ordinateur, chaque ligne de code étant explicitement rédigée par une personne.

Le ChatGPT moment a marqué un tournant décisif au cours des années suivantes. Les développeurs sont passés du codage direct à l'incitation de chatbots, conversant avec des systèmes d'IA qui généraient ensuite du code. Les humains ont commencé à communiquer une intention de haut niveau plutôt que de dicter une syntaxe précise, abstrayant fondamentalement leur implication du pipeline de développement immédiat.

Les tendances actuelles accélèrent cette abstraction vers l'ère 2025-2026 des coding agents. Une seule invite humaine délègue désormais des tâches complexes à des essaims de sous-agents d'IA, ou « workers », orchestrant un développement parallèle à une échelle massive et sans précédent. Ce paradigme transforme le rôle du développeur, passant d'un codeur pratique à un chef d'orchestre stratégique, gérant des entités d'IA autonomes qui exécutent des tâches de programmation complexes.

Ce détachement croissant de l'implication humaine alimente une augmentation exponentielle de la production et de la complexité logicielles. Une brève invite humaine peut désormais générer un volume de code considérable, bien au-delà de ce que tout développeur individuel pourrait produire, augmentant à la fois l'échelle et la complexité des projets. La durée d'achèvement fiable des tâches par les agents d'IA double désormais environ tous les quatre mois, accélérant par rapport à une tendance antérieure de sept mois, remodelant fondamentalement la nature même de la création de logiciels.

Les métriques internes de l'IA révèlent une augmentation surprenante des capacités. La durée des tâches que les agents d'IA accomplissent de manière fiable double désormais tous les quatre mois, une accélération significative par rapport au taux de doublement précédent de sept mois. Cette croissance exponentielle signale un changement profond, rendant le terme acceleration engine littéralement effrayant et soulignant le rythme rapide du développement.

Les projections d'Anthropic illustrent de manière frappante cette expansion rapide du champ d'action opérationnel de l'AI. En mars 2024, les systèmes d'AI géraient des tâches humaines d'une durée d'environ quatre minutes. D'ici début 2026, ces mêmes systèmes devraient s'attaquer à des missions complexes de 12 heures, démontrant une augmentation stupéfiante de l'endurance et de l'autonomie en matière de résolution de problèmes. Cette trajectoire comprime des années de progrès humains en quelques mois seulement.

De manière cruciale, la capacité de l'AI à reproduire de nouvelles recherches montre une amélioration spectaculaire similaire. Sur le benchmark Core Bench, les systèmes d'AI n'atteignaient qu'un taux de réussite de 20 % dans la reproduction de recherches d'AI de pointe il y a seulement 15 mois. Aujourd'hui, ce chiffre avoisine les 100 %, indiquant une maîtrise proche de l'auto-réplication et de la génération de connaissances. Ce progrès rapide étaye les préoccupations d'Anthropic concernant l'recursive self-improvement, détaillées dans leur article When AI Builds Itself: Our Progress Toward Recursive Self-Improvement and Its Implications, à mesure que l'AI acquiert la capacité de valider et de faire progresser ses propres frontières de manière indépendante.

L'AI démontre actuellement une force inégalée en engineering, exécutant méticuleusement des tâches complexes et optimisant les solutions existantes à grande échelle. Elle peut générer de vastes quantités de code, orchestrer des flux de travail de développement complexes et paralléliser les efforts entre de nombreux sous-agents. Cependant, sa limitation fondamentale persiste dans la research, en particulier la génération d'idées véritablement nouvelles ou la définition indépendante d'objectifs stratégiques.

La pleine autonomie repose sur un ingrédient essentiel manquant : la capacité d'exercer un jugement nuancé et de posséder un « goût » raffiné en matière de research. Les systèmes d'AI manquent actuellement du discernement intuitif pour identifier les pistes réellement prometteuses ou déterminer de manière décisive ce qu'il faut construire ensuite, au-delà de simplement comment le construire. Cette fonction cruciale de création et de définition d'objectifs reste fermement du ressort humain.

Une fois que l'AI aura acquis cette dernière étape insaisissable d'idéation créative et de formulation d'objectifs, le rôle humain dans la boucle de développement s'évaporera entièrement. Le processus d'recursive self-improvement deviendra alors entièrement auto-entretenu et autonome. À ce moment charnière, la seule contrainte restante sur le rythme de l'évolution de l'AI se déplacera exclusivement vers la disponibilité de la puissance de compute brute et de l'infrastructure.

Qu'est-ce que l'recursive self-improvement en AI ?

L'recursive self-improvement est le processus par lequel un système d'AI devient capable de concevoir et de développer de manière autonome ses propres successeurs plus avancés, créant une boucle de progrès accélérée avec une intervention humaine minimale.

Pourquoi Anthropic est-il préoccupé par l'AI qui se construit elle-même ?

Anthropic estime que cette capacité pourrait augmenter considérablement les risques de perte de contrôle humain sur les systèmes d'AI avancés. Ils soutiennent que cela pose un problème d'alignement majeur que la société n'est pas prête à gérer, nécessitant un ralentissement du développement.

Que sont les agents de codage AI ?

Les agents de codage AI sont des systèmes d'AI autonomes capables d'écrire, de déboguer et d'implémenter du code pour résoudre des tâches complexes de développement logiciel. Ils représentent un changement où les humains délèguent les problèmes d'engineering à l'AI plutôt que d'écrire le code eux-mêmes.

Quel est l'« ingrédient manquant » pour une pleine auto-amélioration de l'AI ?

Selon l'analyse, l'ingrédient manquant est la véritable nouveauté et le jugement. Bien que l'AI excelle dans l'exécution de tâches bien définies (engineering), elle a actuellement du mal à générer des idées de research originales et à décider quels objectifs poursuivre ensuite.