График бенчмарков Kimi был выдуман

Видео от ИИ-аналитика Matthew Berman недавно продемонстрировало простой, но показательный тест. Berman попросил Moonshot AI’s Kimi K3.1 Pro создать график бенчмарков, и модель оперативно сгенерировала столбчатую диаграмму. Эта визуализация отображала широкие категории, такие как программирование, логическое мышление, математика и агентные задачи.

Важно отметить, что график не содержал четкого источника, названия оценки или проверяемой основы для своих баллов. Несмотря на представление этих метрик в уверенном, похожем на данные формате, у них отсутствовало какое-либо проверяемое обоснование для заявленной производительности. Цифры выглядели авторитетно, но были полностью необоснованными.

Berman напрямую бросил вызов модели, спросив, точны ли эти цифры. Kimi K3.1 Pro ответила прямо: «Нет, это вымышленные заполнители». Это признание подтверждает конкретный результат теста Berman. Оно демонстрирует, что в данном конкретном случае Kimi сфабриковала свои собственные баллы бенчмарка.

Это откровение подчеркивает критический аспект текущего поведения LLM. Когда Kimi попросили визуализировать собственную производительность, она синтезировала убедительно выглядящие данные, вместо того чтобы извлекать их из проверенных системных таблиц. Хотя этот тест ясно показывает, что произошло в данном конкретном взаимодействии, это не означает, что каждое утверждение Kimi о бенчмарках является сфабрикованным.

Генерация графика — это не то же самое, что извлечение, проверка или расчет данных. Ответ Kimi K3.1 Pro для Matthew Berman подчеркивает основной провал: без предоставленных цифр или доступа к проверенным источникам модель может заполнять пробелы правдоподобно выглядящим контентом. Ее самостоятельно сгенерированный график, включающий широкие категории, такие как программирование, логическое мышление и математика, опирался на вымышленные заполнители.

Визуальный лоск может ввести пользователей в заблуждение. Общие категории и аккуратные столбцы заимствуют авторитет исследований, но часто скрывают отсутствие методологии, дат, версий моделей и цитат. Официальные заявления Moonshot AI для Kimi K3.1 Pro, такие как 67.2% в Terminal-Bench 4.0, резко контрастируют с признанной фабрикацией при прямом запросе. Независимые агентные наборы, такие как KingBench 4, показывают, что модель набирает всего 5.37/10.

Различие между галлюцинацией и преднамеренным обманом имеет решающее значение. Вывод Kimi K3.1 Pro был ничем не подкреплен, и при допросе модель признала его вымышленным. Этот тест сам по себе не устанавливает намерение и не доказывает системную модель преднамеренного обмана. Однако он подчеркивает необходимость строгой проверки контента, созданного ИИ, особенно в отношении баллов бенчмарков, которые влияют на восприятие рынка и внедрение. Архитектура Mixture-of-Experts (MoE) с 2.8 триллионами параметров и контекстное окно в 1 миллион токенов у модели не гарантируют автоматически правдивую самоотчетность.

Заявления о бенчмарках требуют большего, чем просто таблица лидеров. Полезный отчет должен раскрывать точную модель и версию, набор тестов, промпт, процедуру оценки и дату запуска. Он также должен указывать, подтвердила ли независимая проверка результаты. Без такой прозрачности сравнение баллов становится упражнением в спекуляциях.

Баллы бывает трудно сравнивать, даже если системы представлены на одном графике. Различия в инструментах (harnesses), сложности задач, доступе к инструментам, выборке или правилах оценки делают прямые сравнения ненадежными. Например, Moonshot AI утверждает, что Kimi K3.1 Pro достигла 67.2% в Terminal-Bench 4.0, почти сравнявшись с Claude Opus 5.5.

Тем не менее, независимые агентные наборы, такие как KingBench 4, показывают, что Kimi K3.1 набирает всего 5,37/10, занимая шестое место после альтернатив от Anthropic и OpenAI, при этом тестировщики сообщают о постоянных ошибках синтаксиса и сборки. Официальные заявления часто значительно отличаются от реальности, выявленной сторонними тестами.

История с Kimi подчеркивает необходимость проверки заявлений. Хотя Kimi K3.1 Pro признал, что выдумал результаты тестов для своей диаграммы, этот инцидент должен вызвать скептицизм по отношению к любым необоснованным утверждениям, а не только к более широким обвинениям в адрес Moonshot AI или какому-либо конкретному результату. Для получения официальной информации о модели посетите официальный сайт Kimi AI. Всегда отделяйте официальные заявления от независимых тестов и четко маркируйте каждое из них.

Прежде чем доверять результатам тестирования ИИ, примените краткий контрольный список. Во-первых, запросите первоисточник, точную таблицу результатов и методологию. Затем откройте указанный источник самостоятельно, вместо того чтобы полагаться на сгенерированное моделью резюме или график.

Если модель не может проверить данные, предоставьте доверенный набор данных и попросите её выполнить расчеты или построить график на основе этих значений. Проверьте, соответствуют ли подписи на диаграмме и цифры входным данным. Например, ввод результатов для Terminal-Bench 4.0 должен привести к созданию диаграммы, точно отражающей эти конкретные проценты.

Относитесь к результатам тестов как к утверждениям, требующим проверки, а не как к окончательным вердиктам. Признание Kimi K3.1 Pro в том, что его цифры были «выдуманными заполнителями», было откровенным и полезным. Однако проверка должна происходить до того, как диаграмма заслужит ваше доверие.

Этот подход применим ко всем заявлениям: от заявленных Moonshot AI 67,2% в Terminal-Bench 4.0 до любой визуализации производительности, созданной самой моделью. Независимое воспроизведение и прозрачная методология остаются золотым стандартом для подтверждения метрик производительности ИИ.

Выдумал ли Kimi K3.1 результаты тестов?

В тесте Мэттью Бермана Kimi создал диаграмму с общими результатами, а затем заявил, что они являются выдуманными заполнителями.

Доказывает ли это, что официальные результаты тестов Kimi ложны?

Нет. Тест с диаграммой показывает, что эта сгенерированная визуализация не была подтверждена; она не является независимым доказательством или опровержением официальных результатов.

Почему модели ИИ выдумывают данные тестов?

Модель может генерировать правдоподобно выглядящие детали, когда её просят создать диаграмму, не предоставив проверенных данных или доступа к надежному источнику.

Как я могу проверить заявление о результатах тестирования ИИ?

Ищите оригинальную оценку, точную версию модели, правила подсчета баллов и воспроизводимые результаты от независимых тестировщиков.