要約 / ポイント
SpaceXAIは、フロンティア性能をわずかなコストで実現すると主張するモデル、Grok 4.5を発表しました。しかし、その驚異的なベンチマークスコアを詳しく見ると、全てに疑問を投げかけるデータ汚染の論争が明らかになっています。
ベンチマーク電撃戦
Grok 4.5が登場し、AIコミュニティに衝撃を与えた爆弾発言の連続と共に現れました。この新しいモデルは、DeepSWEのような専門的なソフトウェアエンジニアリングベンチマークで、Opus 4.8 Maxのようなトップティアの競合他社を上回るスコアを記録したと報じられています。例えば、DeepSWE 1.0でのその性能は、ソフトウェアおよびエンジニアリングタスクにおけるフロンティアレベルの知能を示しており、これらの主張を特に影響力のあるものにしています。
際立ったハイライトは、Grok 4.5のTerminal-Benchでの性能です。これは、経験豊富なDevOpsエンジニアのように実際のコマンドラインインターフェースを操作するAIの能力を評価する重要なテストです。静的なコード編集とは異なり、このベンチマークではAIが実際のシェルを使用してタスクを完了する必要があります。Grok 4.5は、ここで「GPT 5.5」レベルの能力に匹敵すると報じられており、Terminal-Bench 2.1で83.3%のスコアを記録し、目覚ましい実用的な能力を示し、Opus 4.8 Maxを大幅に上回っています。
純粋なコーディングを超えて、Grok 4.5は、GDPVal benchmarkでも目覚ましい29%を達成しています。このベンチマークは、実際のプロフェッショナルな作業を評価するもので、Grok 4.5はGPT-5.5 (22%) とOpus 4.8 (21%) の両方を上回っています。これらの結果は、学術的なベンチテストだけでなく、プロフェッショナルな環境での実用的な応用において大きな可能性を示唆しています。モデルの報告されている効率性と低コストは、ユーザーにとってさらに魅力的なものとなっています。
わずかなコストでフロンティアAI
Grok 4.5の価格は、間違いなく最も破壊的な機能であり、AIコミュニティに衝撃を与えました。100万トークンあたり入力2ドル、出力6ドルというわずかな価格で、同様のフロンティアレベルの性能を提供する競合他社を劇的に下回っており、しばしば5倍から10倍の差をつけています。例えば、Terminal-Benchのようなベンチマークで同等の80%の性能を達成するモデルは、100万トークンあたり入力5ドル、出力30ドルを要求することがあります。
この積極的な価格戦略は、Grok 4.5を「知能対コスト」インデックスにおいて独自の位置に置いています。このモデルは、「最も魅力的」な象限に位置しており、最高の費用対効果を約束します。これは、プレミアムなコストなしでハイエンドの知能が得られることを意味し、開発者と企業の両方にとって大きな勝利です。
コスト以外にも、Grok 4.5は速度と効率を優先しています。このモデルは、高速な毎秒80トークン (TPS) で提供され、Opus 4.8のような主要モデルよりも最大4倍高いトークン効率を誇ります。これは、複雑なソフトウェアエンジニアリングタスクに取り組む際に、計算上の無駄を減らし、より速い結果に直結し、生産性を向上させ、運用コストを削減します。
「完璧な」スコアに付されたアスタリスク
Grok 4.5のCursor Benchでの一見完璧な性能は、複雑な実世界のコードベースタスクでAIモデルをテストするために設計されたベンチマークですが、直ちに大きな警告を発しました。そのスコアは驚異的で、実用的なコーディング能力の飛躍を示唆していましたが、この特定のベンチマークは、今や真のスキル測定というよりも、潜在的な仕込みのように見えます。
Grok 4.5の発表に付随する詳細な説明から、重大な問題が浮上しました。それは、Cursorコードベースの初期スナップショットが、モデルの「トレーニングに誤って含まれていた」というものです。この重大なデータ汚染は、Grok 4.5がベンチマークによって提示された課題を解決したのではなく、単に答えを記憶していた可能性があり、事実上テスト全体を無効にしています。既知の解決策をただ反復しているだけなら、そのモデルが優れているとは主張できません。
この問題は、明白な利益相反によってさらに複雑になっています。Grok 4.5の開発元であるSpaceXAIは、この非常に好意的なベンチマークを開発・公開したCursorを最近買収しました。自社モデルをこれほど肯定的に描く汚染された結果を、たとえ控えめな免責事項付きで発表したとしても、透明性と、彼らの注目を集める主張全体の信頼性について深刻な疑問を投げかけます。Grok 4.5の公称能力とベンチマークに関する詳細については、Introducing Grok 4.5 | SpaceXAIをご覧ください。
ラボテストから実世界のコードへ
一部のベンチマークには疑問符がつくものの、Grok 4.5はHarvey's Legal Agent Benchmarkで決定的な1位を獲得しました。この特定のテストは、AIが実用的な法律業務に取り組む能力を評価するもので、専門的なプロフェッショナルアプリケーションにおいて真の可能性を示唆しています。これは、Grok 4.5がコーディングにおいて単なる一芸に秀でたモデルではないという強力な指標です。
Enjoying this? Get one like it in your inbox each morning.
one email a day · unsubscribe in two clicks · no third-party tracking
しかし、これらの輝かしいラボの結果は、初期のユーザー体験と大きく衝突しています。ソーシャルメディアプラットフォーム上の開発者たちは、Grok 4.5の実世界でのコーディング性能について、「期待外れ」あるいは「ゴミ」とまで評する報告を共有しています。管理されたテストと日常的な実用性との間のこの顕著な乖離は、統合を検討している人にとって重大な懸念事項です。
最終的な評価はまだ定まっていません。Grok 4.5は間違いなく強力で費用対効果の高いツールであり、100万トークンあたり入力2ドル、出力6ドルといった料金を提供し、競合他社を大幅に下回っています。しかし、その印象的でありながら時に欠陥のあるベンチマークスコアを、増え続ける実世界での報告と比較検討する必要があります。誇大広告が現実を上回っているのか、それともGrok 4.5はあなたの特定のニーズに本当に合致しているのか？それが、お金を投じる前にあなたが答えるべき質問です。
よくある質問
Grok 4.5とは何ですか？
Grok 4.5は、SpaceXAIが開発した新しい大規模言語モデルで、ソフトウェアエンジニアリングや実世界のタスクに対して、競合他社よりも大幅に低いコストと高い速度で、ハイエンドの「フロンティアレベル」のインテリジェンスを提供するように設計されています。
Grok 4.5の費用はいくらですか？
Grok 4.5は、100万トークンあたり入力約2ドル、出力6ドルと非常に競争力のある価格設定で、Claude Fable 5やOpus 4.8のような同等のモデルよりも大幅に安価です。
Grok 4.5 Cursor Bench論争とは何ですか？
この論争は、主要なコーディングベンチマークに使用されたCursorのコードベースの初期バージョンが、Grok 4.5のトレーニングデータに「誤って含まれていた」という事実の公表に端を発しています。これにより、結果が汚染され、その特定のベンチマークにおける印象的なパフォーマンスのどれだけが真の能力によるもので、どれだけが記憶によるものなのかが不明確になっています。
Grok 4.5はコーディングに適していますか？
Grok 4.5は、DeepSWEやTerminal Benchといったいくつかのコーディングベンチマークで卓越したパフォーマンスを示しています。しかし、物議を醸しているCursor Benchの結果や、初期のユーザーからの様々なフィードバックは、強力である一方で、その実世界でのコーディング能力が、見出しの数字が示唆するよりも微妙なものである可能性を示唆しています。