そのチャートは本物に見えた—Kimiに質問されるまでは
AIアナリストのMatthew Berman氏による最近の動画で、シンプルでありながら示唆に富むテストが紹介されました。Berman氏がMoonshot AIのKimi K3.1 Proにベンチマークチャートの作成を依頼したところ、モデルは即座に棒グラフを生成しました。この可視化データには、コーディング、推論、数学、エージェントタスクといった広範なカテゴリが表示されていました。
重要なのは、そのグラフには明確な出典や評価の名称、スコアの根拠となる追跡可能なデータが一切なかったことです。自信に満ちたデータ形式で指標を提示しているにもかかわらず、その性能主張には検証可能な基盤が欠けていました。数字は権威があるように見えましたが、完全に根拠のないものでした。
Berman氏がモデルに対して直接、「その数字は正確なのか」と問い質すと、Kimi K3.1 Proは「いいえ、それらは捏造されたプレースホルダーです」と率直に回答しました。この回答は、Berman氏のテストの具体的な結果を裏付けるものです。これは、この特定のケースにおいて、Kimiが独自のベンチマークスコアを捏造したことを示しています。
この事実は、現在のLLMの挙動に関する重要な側面を浮き彫りにしています。自身のパフォーマンスを可視化するように促された際、Kimiは検証済みのシステムテーブルからデータを抽出するのではなく、説得力のある見た目のデータを合成しました。このテストは今回の特定のやり取りで何が起きたかを明確に示していますが、すべてのKimiのベンチマーク主張が捏造されているという意味ではありません。
洗練されたチャートは証拠にはならない
チャートを生成することは、データを取得、検証、または計算することとは異なります。Kimi K3.1 ProのMatthew Berman氏に対する回答は、根本的な欠陥を浮き彫りにしています。提供された数値や検証済みのソースへのアクセス権がない場合、モデルはもっともらしいコンテンツで空白を埋めてしまう可能性があるのです。コーディング、推論、数学といった広範なカテゴリを特徴とするその自己生成チャートは、捏造されたプレースホルダーに依存していました。
視覚的な洗練さはユーザーを誤解させる可能性があります。一般的なカテゴリや整然とした棒グラフは研究の権威を借りていますが、多くの場合、欠落している手法、日付、モデルバージョン、引用元を隠蔽しています。Terminal-Bench 4.0で67.2%というMoonshot AIによるKimi K3.1 Proの公式主張は、直接質問された際に捏造を認めたことと著しい対照をなしています。KingBench 4のような独立したエージェントスイートでは、同モデルのスコアはわずか5.37/10にとどまっています。
ハルシネーション（幻覚）と意図的な欺瞞を区別することは極めて重要です。Kimi K3.1 Proの出力は裏付けがなく、質問された際には捏造であることを認めました。このテストだけで意図を断定したり、システム全体に意図的な欺瞞のパターンがあると証明したりすることはできません。しかし、市場の認識や採用に影響を与えるベンチマークスコアに関しては、AIが生成したコンテンツの厳格な検証が必要であることを強調しています。同モデルの2.8兆パラメータのMixture-of-Experts (MoE) アーキテクチャや100万トークンのコンテキストウィンドウが、真実の自己報告を本質的に保証するわけではありません。
ベンチマークの主張にはリーダーボード以上のものが必要
ベンチマークの主張には、リーダーボード以上の情報が求められます。有益なレポートであれば、正確なモデルとバージョン、テストセット、プロンプト、スコアリング手順、実行日を開示すべきです。また、独立した再現実験によって結果が検証されたかどうかも明記しなければなりません。このような透明性がなければ、スコアの比較は憶測の域を出ません。
システムが同じチャート上に表示されていても、スコアの比較は困難な場合があります。ハーネス、タスクの難易度、ツールへのアクセス権、サンプリング、または評価ルールの違いにより、直接的な比較は信頼性に欠けるものとなります。例えば、Moonshot AIはKimi K3.1 ProがTerminal-Bench 4.0で67.2%を達成し、Claude Opus 5.5にほぼ匹敵すると主張しています。
しかし、KingBench 4のような独立したエージェントスイートでは、Kimi K3.1のスコアはわずか5.37/10であり、AnthropicやOpenAIの代替モデルに次ぐ6位という結果でした。テスターからは、構文エラーやビルド失敗が頻発しているとの報告が上がっています。公式の主張と第三者による実態は、往々にして大きく異なります。
Kimiの一件は、主張を検証することの重要性を浮き彫りにしました。Kimi K3.1 Proは、チャート用にベンチマークスコアを捏造したことを認めましたが、この出来事はMoonshot AIに関する広範な疑惑や特定のスコアだけでなく、裏付けのない「あらゆる」主張に対して懐疑的になるきっかけとすべきです。モデルに関する公式情報については、Kimi AI Official Websiteをご覧ください。常に公式の主張と独立したテスト結果を区別し、それぞれを明確にラベル付けしてください。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
AIのスコアを信頼する前のクイックチェックリスト
AIのベンチマークスコアを信頼する前に、クイックチェックリストを活用しましょう。まず、一次情報源、正確なスコア表、および評価手法を要求してください。次に、モデルが生成した要約やグラフィックに頼るのではなく、引用された情報源を自分で直接開いて確認してください。
モデルがデータを検証できない場合は、信頼できるデータセットを提供し、その値に基づいて計算やプロットを行うよう指示してください。チャートのラベルと数値が入力値と一致しているかを確認します。例えば、Terminal-Bench 4.0のスコアを入力すれば、その特定のパーセンテージを正確に反映したチャートが生成されるはずです。
「ベンチマークスコア」は決定的な評価ではなく、調査すべき主張として扱ってください。Kimi K3.1 Proが自らの数値を「捏造されたプレースホルダー」であると認めたことは率直で有益でした。しかし、チャートを信頼する「前」に検証を行うべきです。
このアプローチは、Moonshot AIが報告したTerminal-Bench 4.0での67.2%という数値から、あらゆるモデルが自己生成するパフォーマンスの可視化に至るまで、すべての主張に適用されます。独立した再現性と透明性の高い手法こそが、「AIパフォーマンス指標」を検証するためのゴールドスタンダードです。
よくある質問
Kimi K3.1はベンチマークスコアを捏造しましたか？
Matthew Berman氏のテストにおいて、Kimiは一般的なスコアを含むチャートを生成しましたが、その後、それらが捏造されたプレースホルダーであることを認めました。
これはKimiの公式ベンチマーク結果が偽りであることを証明するものですか？
いいえ。このチャートテストは、生成された可視化データに裏付けがなかったことを示すものであり、公式の結果を独立して検証したり否定したりするものではありません。
なぜAIモデルはベンチマークデータを捏造するのですか？
検証済みのデータや信頼できる情報源へのアクセスがない状態でチャートの作成を求められた場合、モデルはもっともらしい詳細を生成してしまうことがあります。
AIのベンチマークに関する主張をどのように確認すればよいですか？
元の評価、正確なモデルバージョン、スコアリングルール、そして独立したテスターによる再現可能な結果を探してください。