Artificial Analysisの機能
Artificial Analysis(artificialanalysis.ai)は、AIモデル、それらをホストするクラウドAPI、そしてそれらが動作するチップに対して独自のベンチマークを実施し、結果を公開のリーダーボードとチャートとして公開しています。Aboutページには、ベンチマーク対象のモデルが500以上、推論プロバイダーが100以上、エンドポイントが1,000以上と記載されています。主要な指標は複合スコアであるArtificial Analysis Intelligence Indexです。2026年10月27日に発表されたバージョン5は、ナレッジワーク、コーディング、科学、一般知識をそれぞれ25%の重みで評価し、CognitionのFrontierCode 2.0とTerminal-Bench-Scienceを追加したほか、指数の60%が非公開のテストセットまたはホールドアウトされた正解に基づくとしています。言語モデル以外にも、コーディングエージェント、text-to-image、動画、text-to-speech、speech-to-text、音楽を対象としており、画像、動画、音声向けのコミュニティアリーナも含まれます。
性能ベンチマークは、チップが到達できるピーク値ではなく、顧客がエンドツーエンドで体験する性能(出力速度、最初のトークンまでの時間、タスクあたりのエンドツーエンド時間)を測定し、価格はエンドポイントごとに追跡されます。同社は、プロバイダーが結果、手法の変更、掲載に対して対価を支払うことはできないとしています。サインインして使えるツールには、Model Recommender、独自のプロンプトでモデルを比較するMicroEvals、自社のタスクを再現可能なベンチマークに変えて品質とタスクあたりのコストを比較するOptimaがあります。データはREST APIとMCPサーバーからも利用できます。
