Le petit modèle d'IA qui défie la course à la taille

Le pionnier de l'IA Yann LeCun soutient de longue date que la seule mise à l'échelle de la prédiction du token suivant ne permettra pas d'atteindre une intelligence de niveau humain, une critique distincte d'un rejet pur et simple des modèles de langage. Son scepticisme découle de la limite fondamentale du texte comme source de données : selon lui, la compréhension du monde réel exige des entrées plus riches et multimodales.

Les références de LeCun donnent un poids considérable à sa position. Il a co-inventé les réseaux de neurones convolutifs (CNNs) chez Bell Labs, ce qui lui a valu le Prix Turing 2018 aux côtés de Geoffrey Hinton et Yoshua Bengio. Sa direction pendant une décennie en tant que Chief AI Scientist de Meta, suivie de son départ pour lancer AMI Labs avec un tour de table d'amorçage de 1,03 milliard de $, signale un pari de recherche sérieux à contre-courant de la tendance dominante du secteur.

Cet article examine si le nouvel article de LeCun, « Proving and Improving the Platonic Representation Hypothesis with JEPAs », apporte un appui empirique à une voie alternative. Nous verrons notamment si son benchmark, qui montre un modèle de 109 millions de paramètres surpassant des modèles de 72 milliards de paramètres sur l'alignement de représentations intermodales, valide réellement son hypothèse, et ce que sa métrique spécifique nous apprend légitimement sur l'avenir de l'IA.

Les modèles de langage excellent dans les tâches ancrées dans le texte parce qu'ils apprennent à prédire le token suivant dans une séquence. Cela consiste à repérer des régularités statistiques dans d'immenses jeux de données, ce qui leur permet de générer une prose cohérente, d'écrire du code et même d'effectuer des opérations mathématiques complexes. Leur compétence provient de la maîtrise de la logique interne du langage lui-même.

Cependant, Yann LeCun soutient que le texte seul offre une vision appauvrie de la réalité. Il avance qu'un jeune enfant, au cours de ses quatre premières années, traite à peu près le même volume de données par la vision, environ 10^14 octets, que ce que les plus grands modèles de langage consomment à partir de tout le texte public d'Internet. Ce flux visuel offre une expérience directe des lois physiques : gravité, permanence des objets et propriétés des matériaux.

Cette distinction explique un paradoxe persistant : l'IA peut réussir l'examen du barreau, mais peine en robotique domestique. Si les chatbots font preuve d'une remarquable aisance linguistique, la perception et l'action dans le monde réel restent hors de portée. La robotique et la conduite autonome sont confrontées à des environnements continus et incertains où de petites erreurs ont des conséquences concrètes, un défi que les régularités statistiques du texte ne peuvent pas entièrement résoudre.

Un modèle du monde est la représentation interne qu'une IA se fait de son environnement, lui permettant de prédire comment des situations pourraient évoluer, par exemple en anticipant la trajectoire d'une balle en mouvement. L'IA générative traditionnelle, en revanche, prédit souvent chaque détail infime, comme chaque pixel d'une image future, ce qui est coûteux en calcul et souvent inutile.

Les Joint-Embedding Predictive Architectures (JEPAs) offrent une alternative. Au lieu de générer des sorties détaillées, les JEPAs encodent les observations dans une représentation latente compacte et abstraite, et effectuent des prédictions dans cet espace. Cette approche vise à prédire les parties utiles des états futurs, en ignorant le bruit non pertinent.

L'idée centrale est que les observations d'une même scène sous-jacente, même à travers différentes modalités (par exemple texte et vision), devraient converger vers des représentations alignées dans cet espace latent. Ce concept, formalisé sous le nom de Platonic Representation Hypothesis, suggère qu'un modèle peut apprendre une compréhension unifiée de la réalité à partir d'entrées diverses. Pour aller plus loin, consultez l'article Proving and Improving the Platonic Representation Hypothesis with JEPAs.

Lors d'un benchmark récent, un JEPA textuel de 109 millions de paramètres a obtenu un score de 0,184 en alignement de représentations intermodales par rapport au modèle de vision DINOv2 de Meta. Il a nettement surpassé Qwen2.5-72B (0,154) et Llama-3-70B (0,151), tout en étant environ 660 fois plus petit. Les JEPAs font également preuve d'une remarquable efficacité en termes d'échantillons, n'exigeant que 21,6 millions d'échantillons appariés contre 900 millions pour la prédiction classique du token suivant.

L'article présente une comparaison quantitative frappante : un modèle JEPA textuel de 109 millions de paramètres a obtenu un score d'alignement de représentations de 0,184 avec le modèle de vision DINOv2 de Meta. Il a nettement surpassé Qwen2.5-72B, qui a obtenu 0,154, et Llama-3-70B, à 0,151, démontrant un meilleur alignement intermodal avec un modèle environ 660 fois plus petit.

Cette efficacité s'est étendue aux besoins en données. Le cadre fondé sur JEPA a atteint son alignement avec seulement 21,6 millions d'échantillons appariés, un contraste net avec les 900 millions d'échantillons requis par les approches de prédiction du token suivant pour obtenir un alignement similaire dans ce cadre expérimental précis. Cela met en évidence un avantage potentiel en efficacité d'échantillons dans certains paradigmes d'apprentissage, et non une réduction universelle des coûts pour toutes les tâches d'IA.

Point essentiel : ce benchmark évalue l'alignement de représentations, et non des capacités comme le chat conversationnel, le codage complexe ou le raisonnement mathématique avancé. L'article apporte des preuves convaincantes que les objectifs d'apprentissage et la structure des données influencent profondément l'efficacité des modèles et la compréhension émergente. Bien que prometteuses, l'applicabilité plus large des JEPAs à des tâches variées du monde réel et leur capacité à passer à des modèles plus grands restent des pistes à explorer et à tester.

Qu'est-ce que JEPA en IA ?

JEPA, ou Joint-Embedding Predictive Architecture, prédit les relations entre des représentations abstraites des données au lieu de reconstruire chaque pixel ou token brut.

Un JEPA de 109 millions de paramètres a-t-il battu des chatbots de 72 milliards de paramètres ?

Il a surpassé des modèles bien plus grands sur un benchmark d'alignement de représentations intermodales. Il n'a pas été testé en tant que chatbot ni comme système de raisonnement généraliste.

Qu'est-ce que la Platonic Representation Hypothesis ?

Elle propose que des modèles d'IA entraînés sur des modalités différentes peuvent apprendre des représentations internes similaires du monde sous-jacent.

Cette recherche prouve-t-elle que l'augmentation d'échelle des grands modèles de langage est une impasse ?

Non. Les résultats appuient une approche différente de l'apprentissage de représentations, mais ils ne montrent pas que JEPA remplace les modèles de langage pour des tâches concrètes.