L'IA comprend-elle ? Les preuves sont difficiles à ignorer

Le débat sur la capacité de l'IA à comprendre repose sur un seul mot ambigu. Le 15 octobre, Gregory Kurtzer, cofondateur de CentOS et Rocky Linux, a déclaré sur Twitter que les LLM sont des « modèle[s] statistique[s] qui recrachent des jetons… et non une compréhension du sujet ». David Shapiro a rétorqué que les capacités démontrables des LLM constituent bel et bien une compréhension.

Les références impressionnantes de Kurtzer, qui incluent des années de développement de logiciels de calcul haute performance au Lawrence Berkeley National Laboratory, soulignent la nature substantielle de ce différend. L'ambiguïté fondamentale réside dans le terme « compréhension » lui-même : il peut faire référence à une expérience privée et consciente ou à une capacité démontrable à interpréter, expliquer et utiliser des informations. Ces définitions répondent à des questions fondamentalement différentes.

Cet article adopte une approche testable, évaluant la compétence fonctionnelle par le biais d'un comportement observable. Nous examinerons ce que les modèles d'IA peuvent faire, plutôt que de spéculer sur leurs états internes. La conscience et l'expérience subjective restent des questions distinctes et non résolues, séparées de l'évaluation objective de la compréhension.

Comment mesurer objectivement la « compréhension » ? Les éducateurs ont affiné cette question pendant des décennies. La Taxonomie révisée de Bloom propose une échelle à six niveaux, définissant la compréhension par des actions observables : interpréter, résumer, déduire, comparer et expliquer — et non par un état interne vague. Ses échelons s'élèvent de mémoriser, comprendre et appliquer, à analyser, évaluer et créer.

Les modèles d'IA démontrent désormais des capacités sur ces différents échelons. Pour « mémoriser », les modèles de pointe s'attaquant à Humanity’s Last Exam (un benchmark de 2 500 questions) sont passés de moins de 10 % à environ 61 % lors de tests indépendants. Pour « comprendre », les étudiants en physique de Harvard tutorés par l'IA ont appris deux fois plus que ceux suivant des cours d'apprentissage actif, tandis que même Gregory Kurtzer concède que les LLM peuvent « expliquer des concepts difficiles ».

En montant dans l'échelle, pour « appliquer », un système d'IA de Google DeepMind a obtenu un score de médaille d'or de 35 sur 42 aux Olympiades internationales de mathématiques, avec des solutions notées par les coordinateurs des Olympiades. Pour « analyser », les systèmes d'IA du AI Cyber Challenge de la DARPA ont trouvé 54 des 63 vulnérabilités logicielles insérées, ainsi que 18 vulnérabilités non insérées.

Les échelons supérieurs montrent également des progrès. Pour « évaluer », la notation de GPT-4 s'est alignée sur celle d'évaluateurs humains experts plus de 80 % du temps. Pour « créer », les systèmes de recherche en IA ont généré de nouveaux algorithmes mathématiques, démontrant des capacités qui répondent aux définitions de plus haut niveau de Bloom. Ces benchmarks démontrent des capacités spécifiques, et non une compréhension universelle ou équivalente à celle de l'humain.

Décrire les grands modèles de langage (LLM) comme se contentant de « prédire des jetons » explique comment ils fonctionnent, mais ne définit pas leurs capacités. Un mécanisme ne limite pas intrinsèquement la fonction ; le cerveau, après tout, n'est qu'un ensemble de neurones qui s'activent, et pourtant il parvient à une compréhension profonde. Cette distinction est cruciale pour évaluer les véritables capacités de l'IA.

Considérez la loi de variété requise d'Ashby, qui stipule qu'un contrôleur efficace doit posséder au moins autant de variété que le système qu'il régule. Le théorème de Conant–Ashby postule en outre que « Tout bon régulateur d'un système doit être un modèle de ce système ». Cela signifie qu'une régulation réussie implique le développement d'un modèle interne suffisamment similaire, qu'il soit explicite ou émergent. Les agents d'IA qui s'adaptent à des situations et à des objectifs nouveaux démontrent souvent cette modélisation interne.

Les preuves de tels modèles appris sont convaincantes. Un modèle d'Othello, entraîné uniquement sur des coups de jeu, a développé une représentation interne du plateau ; la manipulation directe de cette image interne a modifié le gameplay du modèle. De même, un modèle d'IA a réussi à plier du linge avec des bras de robot industriels inconnus, obtenant des performances aussi bonnes que celles d'opérateurs humains experts utilisant le même équipement pour la première fois. Ces exemples soutiennent l'existence d'une modélisation fonctionnelle, indiquant que l'IA construit des représentations internes de son environnement, même si elle ne « pense » pas comme une personne. Pour une plongée plus approfondie dans les cadres éducatifs, explorez Bloom’s Taxonomy - Vanderbilt University Center for Teaching.

Déduire une expérience intérieure à partir d'un comportement extérieur présente un défi philosophique classique, illustré par l'expérience de pensée de la chambre chinoise. Les tests fonctionnels, cependant, établissent une compétence utile sans résoudre la question métaphysique de la conscience. Nous pouvons évaluer ce qu'un système fait sans savoir ce qu'il ressent.

La confiance subjective s'avère également être une référence peu fiable. Les gens surestiment fréquemment leur compréhension des mécanismes familiers, ce qui conduit à des erreurs. De même, les systèmes d'IA peuvent produire des réponses incorrectes avec assurance, démontrant que la certitude interne n'équivaut pas à la précision objective.

La compréhension de l'IA, bien qu'impressionnante, reste inégale et fragile dans certains contextes. Cette capacité fonctionnelle n'est pas la preuve d'une conscience. Indépendamment de l'évolution des capacités de l'IA, les humains et les organisations conservent l'entière responsabilité des systèmes qu'ils déploient, des décisions qu'ils éclairent et de tout préjudice qui en résulte.

L'IA comprend-elle réellement quelque chose ?

Cela dépend de la définition. Par des mesures observables telles que l'explication, l'application et l'analyse, l'IA peut démontrer une compréhension fonctionnelle, bien que ses performances soient inégales.

La compréhension fonctionnelle signifie-t-elle que l'IA est consciente ?

Non. Démontrer des capacités utiles n'établit pas qu'un système possède une expérience subjective ou une conscience.

Comment la Bloom’s Taxonomy peut-elle aider à évaluer l'IA ?

Elle propose des tâches cognitives observables — de la mémorisation et l'explication à l'évaluation et la création — qui peuvent être utilisées pour évaluer les performances.

Pourquoi la loi d'Ashby est-elle importante pour le débat sur l'IA ?

Elle suggère qu'un régulateur efficace a besoin d'un modèle du système qu'il contrôle, reliant l'adaptation réussie à la modélisation prédictive.