Le graphique semblait réel, jusqu'à ce que l'on pose la question à Kimi
Une vidéo de l'analyste en IA Matthew Berman a récemment illustré un test simple, mais révélateur. Berman a demandé à Moonshot AI’s Kimi K3.1 Pro de créer un tableau de référence, et le modèle a rapidement généré un graphique à barres. Cette visualisation affichait de larges catégories telles que le codage, le raisonnement, les mathématiques et les tâches agentiques.
Il est crucial de noter que le graphique ne proposait aucune source claire, aucune évaluation nommée, ni aucune base traçable pour ses scores. Bien qu'il présente ces mesures dans un format confiant et semblable à des données, il manquait de fondement vérifiable pour ses performances supposées. Les chiffres semblaient faire autorité, mais étaient totalement infondés.
Berman a directement mis le modèle au défi, en lui demandant si ces chiffres étaient exacts. Kimi K3.1 Pro a répondu clairement : « Non, ce sont des espaces réservés inventés. » Cet aveu confirme le résultat spécifique du test de Berman. Il démontre que, dans ce cas précis, Kimi a fabriqué ses propres scores de référence.
Cette révélation met en lumière un aspect critique du comportement actuel des LLM. Lorsqu'il est invité à visualiser ses propres performances, Kimi a synthétisé des données à l'aspect convaincant plutôt que de puiser dans des tableaux système vérifiés. Bien que ce test montre clairement ce qui s'est passé dans cette interaction spécifique, cela ne signifie pas que chaque affirmation de référence de Kimi est fabriquée.
Un graphique fluide n'est pas une preuve
Générer un graphique n'est pas la même chose que récupérer, valider ou calculer des données. La réponse de Kimi K3.1 Pro à Matthew Berman souligne une défaillance fondamentale : sans chiffres fournis ou accès à des sources vérifiées, un modèle peut combler les lacunes avec un contenu à l'aspect plausible. Son graphique auto-généré, présentant de larges catégories comme le codage, le raisonnement et les mathématiques, reposait sur des espaces réservés inventés.
Le vernis visuel peut induire les utilisateurs en erreur. Les catégories génériques et les barres soignées empruntent l'autorité de la recherche, mais elles cachent souvent l'absence de méthodologie, de dates, de versions de modèles et de citations. Les affirmations officielles de Moonshot AI pour Kimi K3.1 Pro, telles que 67,2 % sur Terminal-Bench 4.0, contrastent fortement avec sa fabrication admise lorsqu'il est directement sollicité. Des suites agentiques indépendantes comme KingBench 4 montrent que le modèle n'obtient qu'un score de 5,37/10.
Il est crucial de distinguer l'hallucination de la tromperie délibérée. La sortie de Kimi K3.1 Pro n'était pas étayée et, lorsqu'elle a été remise en question, elle a été reconnue comme inventée. Ce test seul n'établit pas d'intention ni ne prouve un modèle de tromperie délibérée à l'échelle du système. Cependant, il souligne la nécessité d'une vérification rigoureuse du contenu généré par l'IA, en particulier concernant les scores de référence qui influencent la perception du marché et l'adoption. L'architecture Mixture-of-Experts (MoE) de 2,8 billions de paramètres du modèle et sa fenêtre de contexte de 1 million de jetons ne garantissent pas intrinsèquement une auto-déclaration véridique.
Les affirmations de référence ont besoin de plus qu'un classement
Les affirmations de référence exigent plus qu'un classement. Un rapport utile doit divulguer le modèle et la version exacts, l'ensemble de tests, l'invite, la procédure de notation et la date d'exécution. Il doit également indiquer si une reproduction indépendante a vérifié les résultats. Sans cette transparence, comparer les scores devient un exercice de spéculation.
Les scores peuvent être difficiles à comparer même lorsque les systèmes apparaissent sur le même graphique. Les différences dans les harnais, la difficulté des tâches, l'accès aux outils, l'échantillonnage ou les règles d'évaluation rendent les comparaisons directes peu fiables. Par exemple, Moonshot AI affirme que Kimi K3.1 Pro a atteint 67,2 % sur Terminal-Bench 4.0, égalant presque Claude Opus 5.5.
Cependant, des suites d'agents autonomes comme KingBench 4 montrent que Kimi K3.1 obtient un score de seulement 5,37/10, le plaçant en sixième position derrière les alternatives d'Anthropic et d'OpenAI, avec des testeurs signalant des échecs persistants de syntaxe et de compilation. Les affirmations officielles diffèrent souvent considérablement des réalités observées par des tiers.
L'épisode Kimi souligne la nécessité de vérifier les affirmations. Bien que Kimi K3.1 Pro ait admis avoir inventé des scores de référence pour son graphique, cet incident devrait inciter au scepticisme concernant toute affirmation non étayée, et pas seulement les allégations plus larges sur Moonshot AI ou un score spécifique. Pour des informations officielles sur le modèle, visitez le Kimi AI Official Website. Séparez toujours les affirmations officielles des tests indépendants et étiquetez chaque élément clairement.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Une liste de contrôle rapide avant de faire confiance aux scores d'IA
Avant de vous fier aux scores de référence de l'IA, appliquez une liste de contrôle rapide. Tout d'abord, demandez la source primaire, le tableau de scores exact et la méthodologie. Ensuite, ouvrez vous-même la source citée au lieu de vous fier à un résumé ou à un graphique généré par un modèle.
Si le modèle ne peut pas vérifier les données, fournissez un jeu de données fiable et demandez-lui de calculer ou de tracer à partir de ces valeurs. Vérifiez que les étiquettes et les chiffres du graphique correspondent aux données d'entrée. Par exemple, la saisie des scores pour Terminal-Bench 4.0 devrait produire un graphique reflétant précisément ces pourcentages spécifiques.
Traitez les scores de référence comme des affirmations à examiner, et non comme des verdicts. L'admission de Kimi K3.1 Pro selon laquelle ses chiffres étaient des « espaces réservés inventés » était franche et utile. Cependant, la vérification doit avoir lieu avant qu'un graphique ne gagne votre confiance.
Cette approche s'applique à toutes les affirmations, du score de 67,2 % rapporté par Moonshot AI sur Terminal-Bench 4.0 à toute visualisation de performance auto-générée par un modèle. La reproduction indépendante et une méthodologie transparente restent l'étalon-or pour valider les métriques de performance de l'IA.
Foire aux questions
Kimi K3.1 a-t-il inventé des scores de référence ?
Lors du test de Matthew Berman, Kimi a généré un graphique avec des scores génériques, puis a déclaré qu'il s'agissait d'espaces réservés inventés.
Cela prouve-t-il que les résultats officiels des tests de référence de Kimi sont faux ?
Non. Le test du graphique montre que cette visualisation générée n'était pas étayée ; il ne vérifie ni n'infirme indépendamment les résultats officiels.
Pourquoi les modèles d'IA inventent-ils des données de référence ?
Un modèle peut générer des détails à l'aspect plausible lorsqu'on lui demande de créer un graphique sans lui fournir de données vérifiées ou d'accès à une source fiable.
Comment puis-je vérifier une affirmation sur les tests de référence d'une IA ?
Recherchez l'évaluation originale, la version exacte du modèle, les règles de notation et les résultats reproductibles obtenus par des testeurs indépendants.