Le débat sur le 'World Model' de l'IA est un mensonge

L'argument populaire selon lequel "le monde n'est pas fait de mots" déforme fondamentalement l'IA moderne, affirmant que les large language models (LLMs) ne peuvent pas comprendre la réalité parce qu'ils ne sont entraînés que sur du texte. Cette perspective, souvent exprimée par des personnalités comme Lior Alexander, est de plus en plus dépassée. De manière critique, la prémisse selon laquelle les modèles d'IA ne comprennent que le langage est désormais fausse.

De nombreux systèmes, souvent mal étiquetés comme des LLMs, ont évolué en "Omni models" multimodaux, exemplifiés par ChatGPT-4o d'OpenAI, où le "O" signifie des capacités omni-modales. Ces architectures avancées s'entraînent sur des ensembles de données complets incluant l'audio, la vidéo, les images et le texte. Cette diversité d'entrées leur permet de saisir la structure mathématique sous-jacente du monde et les schémas prévisibles, une réalité que les physiciens et les ingénieurs soulignent constamment. L'IA maîtrise rapidement ces mathématiques fondamentales, développant une compréhension intuitive de la géométrie et de l'espace physique.

Le débat est donc véritablement une question de degré. Même avant l'intégration multimodale, les anciens modèles de langage basés uniquement sur le texte démontraient une capacité rudimentaire à approximer les relations spatiales et les cartes mentales des objets, bien qu'imparfaitement. Les Omni models d'aujourd'hui améliorent considérablement cette compréhension, traitant des données de capteurs continues et des boucles de rétroaction. Cette progression pousse l'IA bien au-delà de la simple prédiction linguistique, démontrant une voie claire et quantitative vers une compréhension plus profonde du monde.

personne ne conteste la valeur de l'embodied intelligence pour la robotique. Les modèles physiques du monde, équipés de données de capteurs, de boucles de rétroaction et de proprioception, sont indispensables pour les machines naviguant et interagissant avec le monde physique. C'est le domaine des compétences sensorimotrices robustes.

Mais cette prouesse physique diffère significativement de l'intelligence générale que nous recherchons dans l'AGI. Des animaux comme les oiseaux, les chats et les singes démontrent une intelligence visuospatiale et un contrôle physique exceptionnels. Ils naviguent dans des environnements complexes et exécutent des mouvements complexes avec précision, pourtant personne ne les considère comme généralement intelligents d'une manière utile pour la résolution avancée de problèmes humains.

De même, l'impact le plus transformateur de l'AGI ne proviendra pas principalement de la dextérité physique. Son potentiel révolutionnaire réside dans la maîtrise de l'abstract intelligence : le domaine du raisonnement mathématique et scientifique. La physique avancée, la biophysique et d'autres domaines théoriques complexes représentent la véritable frontière où l'AGI débloquera des découvertes sans précédent.

Alors que la robotique bénéficie immensément d'un "sens ressenti" de l'espace tridimensionnel, la véritable puissance de l'AGI émerge de sa compréhension intuitive des structures mathématiques sous-jacentes. Cette capacité de raisonnement abstrait, plutôt que de simplement prédire les interactions physiques, définit la voie vers une intelligence véritablement générale et ses profondes contributions sociétales.

Des architectures comme la JEPA (Joint Embedding Predictive Architecture) de Yann LeCun apprennent des représentations abstraites à partir de données sensorielles, prédisant dans des latent spaces compressés plutôt que des pixels bruts. LeCun et d'autres soutiennent souvent que cette méthode est intrinsèquement supérieure pour construire des world models, impliquant une compréhension plus profonde. Cette perspective, cependant, surpriorise le comment de la prédiction par rapport à son exactitude.

La prédiction est la prédiction. Qu'une AI prévoie le prochain token, un futur pixel ou un état abstrait, la véritable mesure réside dans la justesse de sa sortie. Comme le souligne David Shapiro, une prédiction précise est la validation par la méthode scientifique d'une représentation abstraite. La modalité spécifique ou la technique de compression devient secondaire si le système anticipe de manière fiable la réalité.

Les critiques affirment également que seules les architectures non-LLM peuvent gérer une planification complexe en plusieurs étapes dans des environnements physiques. Cela ignore les avancées existantes. Les Video-Language-Action (VLA) models démontrent déjà des capacités robustes à simuler les conséquences d'actions et à exécuter des plans complexes, remettant directement en question l'idée qu'une telle planification est exclusive à des conceptions architecturales spécifiques. Pour plus d'informations sur les fondements théoriques, consultez Language Models, World Models, and Human Model-Building.

Le débat sur la supériorité architecturale dégénère souvent en querelles sémantiques. Le facteur critique reste la capacité d'un modèle à générer des prédictions cohérentes et exploitables sur son environnement, qu'il traite des flux sensoriels bruts ou des représentations hautement abstraites.

Le terme "Large Language Model" devient rapidement un nom impropre et obsolète. L'industrie de l'AI s'oriente désormais de manière décisive vers de véritables Omni-models multimodaux, illustrés par le récent GPT-4o d'OpenAI, où le 'O' signifie explicitement "Omni". Ces architectures sont entraînées sur de vastes ensembles de données intégrés englobant non seulement le texte, mais aussi l'audio, les images et la vidéo, transcendant les limitations de la compréhension et de la prédiction purement linguistiques.

On prédit une convergence profonde de deux voies de développement de l'AI auparavant distinctes. Une voie excelle dans le raisonnement abstrait, maîtrisant le langage, les mathématiques complexes et la génération de code complexe. L'autre cultive l'intuition sensorimotrice, vitale pour une robotique robuste, l'interaction physique et la navigation dans un espace tridimensionnel avec une conscience proprioceptive. Cette intégration s'étend au-delà de la simple saisie de données ; elle représente une capacité de traitement unifiée.

Cette synthèse imminente envisage une architecture cognitive singulière et unifiée, un véritable "cerveau de robot". Un tel système raisonnera et agira intrinsèquement dans tous les domaines imaginables, de la découverte scientifique avancée à la manipulation d'objets physiques en temps réel. Cette approche holistique rend fondamentalement obsolète le débat fragmenté sur le "modèle du monde", en particulier les arguments tels que "le monde n'est pas fait de mots". L'objectif ultime se déplace vers un cerveau AI complet, capable de comprendre et d'interagir avec la réalité dans toute sa complexité multifacette, rendant la prédiction véritablement agnostique au domaine.

Qu'est-ce qu'un 'modèle du monde' d'AI ?

Un modèle du monde d'AI est une représentation interne et abstraite du fonctionnement du monde. Il permet à une AI de comprendre la cause et l'effet, de simuler des événements futurs et de planifier des actions basées sur une compréhension cohérente de son environnement, plutôt que de simplement reconnaître des schémas statistiques dans les données.

Pourquoi certains experts affirment-ils que les modèles de langage manquent de modèles du monde ?

L'argument principal est que, puisque les LLM sont principalement entraînés sur du texte, ils manquent d'ancrage dans la réalité physique. Des critiques, comme Yann LeCun, soutiennent que le monde est fait de données sensorielles, pas de mots, donc une véritable compréhension nécessite d'apprendre de l'interaction visuelle ou physique, et pas seulement du langage.

Quelle est la différence entre l'intelligence AI incarnée et abstraite ?

L'intelligence incarnée implique de comprendre et de naviguer dans le monde physique à travers les données de capteurs, les boucles de rétroaction et la proprioception, ce qui est crucial pour la robotique. L'intelligence abstraite implique de raisonner sur des concepts comme les mathématiques, la physique et la philosophie, ce qui est considéré comme une fonction clé pour une AGI avancée.

Qu'est-ce qu'un 'Omni-model' ?

Un 'Omni-model' est un terme désignant la prochaine génération d'IA qui va au-delà de l'appellation 'Large Language Model'. Il décrit un modèle unifié entraîné sur plusieurs modalités —texte, images, audio, vidéo, code— pour développer une compréhension plus holistique et intégrée du monde.