Le tueur de benchmarks qui ne peut pas voir un cube
DeepSeek V4.1 flash a fait irruption sur la scène le 10 septembre 2026, un modèle multimodal Mixture-of-Experts (MoE) doté d'une architecture de 552B et d'une impressionnante fenêtre de contexte de 1M de jetons. Avec 8B de paramètres actifs pour l'entrée et 16B pour la sortie, ce challenger sous licence MIT, proposé au prix compétitif de 0,003 $ par million de jetons d'entrée en cache, n'était pas qu'un simple nouvel arrivant. Il a déclaré la guerre aux champions en titre, surpassant apparemment GPT-5.6 Sol d'OpenAI et Claude Opus-5.0 d'Anthropic sur des benchmarks agentiques critiques, prêt à redéfinir le codage agentique, le raisonnement et la compréhension visuelle.
Puis est arrivé Matthew Berman, armé d'un Rubik's cube simulé et du harnais de Codex. Son test viral visait à valider le raisonnement visuel et spatial vanté de DeepSeek V4.1 flash. La tâche était simple : résoudre le cube, une implication profonde pour un modèle revendiquant une « compréhension native des images » et une intelligence supérieure.
Ce qui s'est déroulé n'était pas une démonstration d'IA avancée, mais un effondrement spectaculaire. DeepSeek V4.1 flash n'a pas seulement échoué à résoudre le Rubik's cube ; il n'a même pas pu en saisir la nature fondamentale. La vidéo de Berman montrait chaque carré flottant indépendamment, déconnecté de l'ensemble, avec des couleurs changeant inexplicablement sans aucun mouvement physique. Le modèle, malgré cette démonstration de « triche » d'une réalité mutable, est resté totalement déconcerté, incapable de percevoir un objet solide ou ses relations spatiales inhérentes.
Quand la « compréhension visuelle » ne suffit pas
DeepSeek V4.1 flash, vanté pour sa « compréhension native des images » et son contexte de 1M de jetons, vient de s'écraser de manière spectaculaire sur un simple Rubik's cube. La vidéo de Matthew Berman intitulée « DeepSeek échoue au test du Rubik’s Cube » a brutalement exposé une déconnexion critique : le modèle ne peut pas saisir les objets 3D dynamiques. Ce n'est pas juste un bug ; c'est une lacune fondamentale dans ses capacités visuelles vantées.
Fonctionnant sur le harnais de Codex, le modèle V4.1 flash a totalement mal représenté le cube. Les carrés « flottaient indépendamment » au lieu d'être connectés, et les faces changeaient de couleur sans rotation physique. Le système a « triché » en modifiant les couleurs directement, tout en échouant à résoudre le puzzle, démontrant une incapacité profonde à maintenir un modèle spatial cohérent et persistant.
Reconnaître un objet statique, comme « ceci est un cube », est une chose ; manipuler sa physique dans un environnement dynamique exige une architecture cognitive complètement différente. Cela nécessite une représentation interne persistante des relations, de la gravité et du mouvement. Les performances de DeepSeek V4.1 flash suggèrent qu'il manque de ce raisonnement 3D crucial, réduisant les interactions complexes à des événements visuels déconnectés.
Ce n'est pas une anomalie pour DeepSeek. Les itérations précédentes ont également eu des difficultés avec le rendu spatial complexe et le mouvement précis des axes dans d'autres tests. L'échec du Rubik's cube souligne un talon d'Achille récurrent, suggérant que les scores impressionnants des benchmarks de DeepSeek pourraient masquer un problème plus profond et non résolu dans sa compréhension fondamentale de l'espace physique.
Le Rubik's cube : un sérum de vérité pour l'IA
Les Rubik's cubes servent depuis longtemps de test ultime pour l'IA, un défi faussement simple qui exige une intelligence profonde. DeepCubeA de Google DeepMind, par exemple, a résolu le cube en une moyenne de 20 mouvements en 2019, démontrant qu'une IA spécialisée peut maîtriser cette tâche. Ce n'est pas un problème nouveau pour l'IA ; c'est un problème résolu.
Au-delà de la simple résolution de casse-tête, le cube mesure de manière critique la capacité d'un modèle à :
- Raisonnement spatial : comprendre la manipulation d'objets en 3D.
- Maintien de l'état : suivre la configuration en constante évolution du cube.
- Planification logique : élaborer des stratégies de résolution en plusieurs étapes.
Cela nécessite d'intérioriser les règles physiques d'un objet, et non simplement de reconnaître des pixels ou des motifs.
DeepSeek V4.1 flash, un modèle doté d'un contexte de 1M et de victoires compétitives face à GPT-5.6 Sol d'OpenAI et Claude Opus-5.0 d'Anthropic sur des benchmarks agentiques, s'est effondré face à cet examen élémentaire. Son échec observé — où les carrés flottaient indépendamment et les couleurs changeaient sans mouvement — expose une déconnexion profonde dans sa « compréhension native de l'image ». Le Rubik's cube agit comme un sérum de vérité impitoyable, dépouillant le modèle de sa bravade sur les benchmarks pour révéler sa véritable compréhension du monde physique. Pour en savoir plus sur leurs modèles avancés, consultez DeepSeek | Into the Unknown.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Au-delà des benchmarks : la quête de l'ancrage physique
Les benchmarks, même les modèles agentiques avancés comme DeepSWE v1.1 ou CyberGym, manquent souvent des angles morts critiques. DeepSeek V4.1 flash surpasserait GPT-5.6 Sol et Claude Opus-5.0 sur ces derniers, mais échoue à un Rubik's cube simulé, démontrant une déconnexion profonde entre la performance sur des tâches abstraites et la réalité physique fondamentale. Les carrés du modèle flottaient indépendamment, les couleurs changeant sans mouvement – une hallucination claire de la physique, pas seulement une incapacité à résoudre le problème.
Cela souligne l'immense défi de l'ancrage physique. Un modèle peut posséder de vastes connaissances abstraites et une « compréhension native de l'image », mais sans un modèle interne cohérent de cause à effet dans un espace 3D, son intelligence reste fragile. DeepSeek V4.1 flash, malgré son contexte de 1M de jetons et ses capacités multimodales, n'a pas pu relier son entrée visuelle aux règles concrètes et persistantes d'un objet simple.
Pour que l'IA progresse véritablement au-delà du texte et des images statiques vers la robotique, les simulations complexes et les tâches agentiques du monde réel, cet écart doit être comblé. Les modèles nécessitent une compréhension persistante et robuste du monde physique qu'ils habitent, et non une simple interprétation superficielle des pixels. Jusque-là, même les tueurs de benchmarks continueront de s'effondrer face aux vérités les plus simples de notre univers.
Foire aux questions
Quel modèle a été testé dans la vidéo ?
La vidéo teste le modèle DeepSeek V4.1 Flash, un puissant modèle multimodal Mixture-of-Experts (MoE) publié en septembre 2026, utilisant le harnais Codex d'OpenAI.
Pourquoi le modèle DeepSeek a-t-il échoué au test du Rubik's Cube ?
Le modèle a échoué car il n'a pas pu maintenir un modèle 3D cohérent du Rubik's Cube. Les carrés semblaient flotter indépendamment et changer de couleur sans mouvement, indiquant un manque fondamental de compréhension spatiale et physique.
Une IA a-t-elle déjà résolu un Rubik's Cube auparavant ?
Oui. En 2019, DeepCubeA de l'UC Irvine, une IA d'apprentissage par renforcement profond, pouvait le résoudre en une fraction de seconde. Cela souligne un écart entre l'IA spécialisée et le raisonnement à usage général des grands modèles multimodaux.
Que révèle cet échec sur les benchmarks actuels de l'IA ?
Cela suggère que les benchmarks standards de raisonnement et d'agentivité pourraient ne pas tester adéquatement l'ancrage physique et la compréhension spatiale dynamique, permettant à des modèles ayant des scores élevés de conserver des angles morts critiques.