El gráfico parecía real, hasta que se le preguntó a Kimi
Un video del analista de IA Matthew Berman mostró recientemente una prueba sencilla pero reveladora. Berman le pidió a Moonshot AI’s Kimi K3.1 Pro que creara un gráfico de referencia, y el modelo generó rápidamente un gráfico de barras. Esta visualización mostraba categorías amplias como programación, razonamiento, matemáticas y tareas agénticas.
Fundamentalmente, el gráfico no ofrecía una fuente clara, una evaluación nombrada ni una base rastreable para sus puntuaciones. A pesar de presentar estas métricas en un formato seguro y similar a los datos, carecía de cualquier fundamento verificable para su supuesto rendimiento. Los números parecían autoritarios pero carecían totalmente de sustento.
Berman desafió directamente al modelo, preguntando si esos números eran precisos. Kimi K3.1 Pro respondió claramente: "No, son marcadores de posición inventados". Esta admisión confirma el resultado específico de la prueba de Berman. Demuestra que, en este caso particular, Kimi fabricó sus propias puntuaciones de referencia.
Esta revelación destaca un aspecto crítico del comportamiento actual de los LLM. Cuando se le pidió visualizar su propio rendimiento, Kimi sintetizó datos de aspecto convincente en lugar de extraerlos de tablas de sistema verificadas. Si bien esta prueba muestra claramente lo que sucedió en esta interacción específica, no significa que todas las afirmaciones de referencia de Kimi sean fabricadas.
Un gráfico fluido no es evidencia
Generar un gráfico no es lo mismo que recuperar, validar o calcular datos. La respuesta de Kimi K3.1 Pro a Matthew Berman destaca un fallo fundamental: sin cifras suministradas o acceso a fuentes verificadas, un modelo puede llenar los vacíos con contenido de aspecto plausible. Su gráfico autogenerado, que presenta categorías amplias como programación, razonamiento y matemáticas, se basó en marcadores de posición inventados.
El pulido visual puede engañar a los usuarios. Las categorías genéricas y las barras ordenadas toman prestada la autoridad de la investigación, pero a menudo ocultan la falta de metodología, fechas, versiones de modelos y citas. Las afirmaciones oficiales de Moonshot AI para Kimi K3.1 Pro, como el 67.2% en Terminal-Bench 4.0, contrastan fuertemente con su fabricación admitida cuando se le preguntó directamente. Los conjuntos de pruebas agénticas independientes como KingBench 4 muestran que el modelo obtiene solo 5.37/10.
Distinguir entre alucinación y engaño deliberado es crucial. El resultado de Kimi K3.1 Pro no estaba respaldado y, cuando se le cuestionó, reconoció que era inventado. Esta prueba por sí sola no establece intención ni demuestra un patrón de engaño deliberado en todo el sistema. Sin embargo, subraya la necesidad de una verificación rigurosa del contenido generado por IA, especialmente en lo que respecta a las puntuaciones de referencia que influyen en la percepción y adopción del mercado. La arquitectura de Mezcla de Expertos (MoE) de 2.8 billones de parámetros del modelo y su ventana de contexto de 1 millón de tokens no garantizan intrínsecamente una autoinformación veraz.
Las afirmaciones de referencia necesitan más que una tabla de clasificación
Las afirmaciones de referencia exigen más que una tabla de clasificación. Un informe útil debe revelar el modelo y la versión exactos, el conjunto de pruebas, el prompt, el procedimiento de puntuación y la fecha de ejecución. También debe indicar si una reproducción independiente verificó los resultados. Sin esta transparencia, comparar puntuaciones se convierte en un ejercicio de especulación.
Las puntuaciones pueden ser difíciles de comparar incluso cuando los sistemas aparecen en el mismo gráfico. Las diferencias en los arneses, la dificultad de las tareas, el acceso a herramientas, el muestreo o las reglas de evaluación hacen que las comparaciones directas no sean fiables. Por ejemplo, Moonshot AI afirma que Kimi K3.1 Pro alcanzó el 67.2% en Terminal-Bench 4.0, igualando casi a Claude Opus 5.5.
Sin embargo, suites de agentes independientes como KingBench 4 muestran que Kimi K3.1 obtiene una puntuación de solo 5.37/10, situándolo en sexto lugar detrás de alternativas de Anthropic y OpenAI, con evaluadores reportando fallos persistentes de sintaxis y compilación. Las afirmaciones oficiales a menudo difieren significativamente de las realidades de terceros.
El episodio de Kimi destaca la necesidad de verificar las afirmaciones. Aunque Kimi K3.1 Pro admitió haber inventado las puntuaciones de referencia para su gráfico, este incidente debería suscitar escepticismo sobre cualquier afirmación sin fundamento, no solo sobre acusaciones más amplias sobre Moonshot AI o cualquier puntuación específica. Para obtener información oficial sobre el modelo, visite el Kimi AI Official Website. Separe siempre las afirmaciones oficiales de las pruebas independientes y etiquete cada una claramente.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Una lista de verificación rápida antes de confiar en las puntuaciones de IA
Antes de confiar en las puntuaciones de referencia de IA, aplique una lista de verificación rápida. Primero, solicite la fuente primaria, la tabla de puntuación exacta y la metodología. Luego, abra usted mismo la fuente citada en lugar de confiar en un resumen o gráfico generado por el modelo.
Si el modelo no puede verificar los datos, proporcione un conjunto de datos confiable y pídale que calcule o grafique a partir de esos valores. Verifique que las etiquetas y los números del gráfico coincidan con la entrada. Por ejemplo, ingresar las puntuaciones para Terminal-Bench 4.0 debería generar un gráfico que refleje con precisión esos porcentajes específicos.
Trate las puntuaciones de referencia como afirmaciones a investigar, no como veredictos. La admisión de Kimi K3.1 Pro de que sus números eran "marcadores de posición inventados" fue sincera y útil. Sin embargo, la verificación debe ocurrir antes de que un gráfico se gane su confianza.
Este enfoque se aplica a todas las afirmaciones, desde el 67.2% reportado por Moonshot AI en Terminal-Bench 4.0 hasta cualquier visualización de rendimiento autogenerada por un modelo. La reproducción independiente y la metodología transparente siguen siendo el estándar de oro para validar las métricas de rendimiento de IA.
Preguntas frecuentes
¿Kimi K3.1 inventó las puntuaciones de referencia?
En la prueba de Matthew Berman, Kimi generó un gráfico con puntuaciones genéricas y luego dijo que eran marcadores de posición inventados.
¿Esto prueba que los resultados oficiales de referencia de Kimi son falsos?
No. La prueba del gráfico muestra que esta visualización generada no estaba respaldada; no verifica ni refuta de forma independiente los resultados oficiales.
¿Por qué los modelos de IA inventan datos de referencia?
Un modelo puede generar detalles que parecen plausibles cuando se le pide crear un gráfico sin haber recibido datos verificados o acceso a una fuente confiable.
¿Cómo puedo verificar una afirmación de referencia de IA?
Busque la evaluación original, la versión exacta del modelo, las reglas de puntuación y los resultados reproducibles de evaluadores independientes.