Skip to content

LMSys Chatbot Arena レビュー

Arena(旧 LMArena、LMSYS Chatbot Arena)は、匿名の2つの AI モデルとチャットし、より良い回答に投票できる無料サイトです。その投票が公開リーダーボードを形成します。

フリーミアム

LMSys Chatbot Arenaに対するStorkの評価

Arena は、AI モデルを無料でブラインド比較し、クラウドソーシングによるランキングを確認できる場です。機密データは入力せず、モデルを選ぶ前に固定のベンチマークと併せてご確認ください。

LMSys Chatbot Arena reviewed by Stork AI · stork.ai/ja/chat-lmsys-org

stork
私は1枚の静止画です。
入力したのは1つの文だけ。この動画の料金は最低料金の$0.05です。
写真が話す動画を、1分$0.20で。
写真を1枚アップロードして、文章を入力するだけ。サブスク不要。1日1本まで無料。
無料で作ってみる開発者の方へ:APIもあります

Arena の機能

Arena は UC Berkeley の研究プロジェクトである Chatbot Arena として始まり、LMArena への名称変更を経て、現在は Arena Intelligence Inc. のもと arena.ai で運営されています。プロンプトを入力すると、Battle モードが匿名の2つのモデルからの回答を表示し、好みのほうに投票します。モデル名は投票後にのみ明かされ、モデルが匿名の状態で投じられた投票のみがランキングに反映されます。Arena はこれらの投票を、Elo に似たペア比較手法である Bradley-Terry モデルでレーティングに変換し、スタイル制御を適用しています。

Battle モードのほかに、Side by Side(2つのモデルを自分で選択します。投票はリーダーボードに反映されません)と Direct モード(1つのモデルとチャットします。投票はありません)があります。サイトでは、チャット、ウェブ検索、画像・動画生成、アプリやウェブサイトの構築を扱っています。リーダーボードは、Text、WebDev、Image-to-WebDev、Vision、Document、Search、Text to Image、Image Edit、Text to Video、Image to Video、Video Edit、および Agent カテゴリで公開されています。モデルを開発するラボも、コードネームを用いて Arena でリリース前のモデルをテストしています。

Arena の料金

プラン価格含まれる内容
Arena ウェブアプリ$0毎日の無料利用クレジット残高。24時間の期間は最初のプロンプトから始まります。Text Arena と Code Arena の Battle モードではクレジットを消費しません
制限を解除する有料プラン提供なしArena のヘルプセンターによると、レート制限を解除する有料サービスは提供されていません
Arena API(開発者向けプレビュー)招待制。モデルラボ自身の価格でトークン単位の課金。上乗せは明記されていませんAnthropic、Google、OpenAI、Kimi、DeepSeek などの最先端モデルへのアクセス。招待がない方向けのウェイティングリストがあります
AI Evaluations(モデルラボおよび企業向け)価格は非公開。営業担当へお問い合わせください実世界の人間のフィードバックに基づく評価。Arena は、これが自社の資金源であるとしています

サイトの利用にサブスクリプションはありません。制限はモデルごと、およびチャットの頻度ごとに設けられており、制限に達した場合は、カウントダウンがリセットされるのを待つ以外の方法はありません。クレジットの量自体は公開されていません。

Arena は料金ページを公開していません。条件はベンダーのヘルプセンターと FAQ で2026年11月2日に確認しました。Arena のクレジットシステムをご覧ください。

主な機能

Arena が FAQ、How It Works ページ、ヘルプセンターで挙げている内容は次のとおりです。

  • Battle モード: 匿名の2つのモデルが回答し、投票すると、投票後に名前が明かされます
  • Side by Side モード: 自分で選んだ2つのモデルを、公式ランキングの対象外で比較します
  • Direct モード: 選択した1つのモデルとチャットします
  • テキスト、コーディング(WebDev)、ビジョン、ドキュメント、検索、画像、動画のリーダーボード
  • ラボのリリース前モデルが、公開前にコードネームで登場します
  • プロンプト、投票、モデルの組み合わせのオープンデータセットを、Hugging Face と Arena Explorer で公開しています
  • 元の Chatbot Arena 論文(ICML 2024)を含む、公開された研究

Arena が最適な方

Arena は、AI モデルの選択にあたり、実際のプロンプトで人々がどう評価しているかを手早く知りたい方や、最先端モデルやリリース前のモデルを1か所で無料で試したい方に適しています。研究者は、オープンな選好データと、文書化された評価手法を利用できます。

非公開の会話が必要な場合は、他の選択肢をご検討ください。Arena は、プロンプトが匿名化された後に公開の研究用データセットやモデル提供元と共有される場合があるとしているため、機密データは入力しないでください。固定テストでのベンチマークスコアに加えて速度や価格のデータも求める場合は、Artificial Analysis が適しています。有料で非公開の複数モデル対応チャットアプリには Poe、多数のモデルへの本番環境向け API アクセスには OpenRouter をご利用ください。

ユーザーの評価

Arena のリーダーボードはラボや報道機関に広く引用されており、Arena 自身の About ページには、Wall Street Journal、Reuters、TechCrunch での掲載が挙げられています。最もよく知られた批判は、2025年の論文 The Leaderboard Illusion です。著者らは約2 million件のバトルを監査し、一部の大手プロバイダーが多数のバリアントを非公開でテストできたこと、および Arena のデータをより大きな割合で受け取っていたことが利点となり、ランキングを歪める可能性があると主張しました。Arena はこうした懸念に対し、公開されたリーダーボードポリシーとオープンデータセットで応えています。リーダーボードは、完全なベンチマークではなく、Arena のプロンプトに対する人間の選好を測るものとして読んでください。

長所

  • 無料で利用でき、最先端モデルを試すのに有料プランは不要です
  • ブラインド投票により、ランキングにおけるブランドへの偏りが軽減されます
  • テキスト、コード、ビジョン、検索、画像、動画のリーダーボードを提供しています
  • コードネームで公開されるリリース前モデルに早期にアクセスできます
  • オープンなデータセットと、公開された評価手法があります

短所

  • プロンプトは、匿名化された上で研究者やモデル提供元と共有される場合があります
  • 1日あたりのクレジットとモデルごとのレート制限があり、料金を支払っても制限を解除できません
  • ランキングは固定テストでの正確性ではなく、Arena のプロンプトに対する好みを反映したものです
  • 大手ラボによる非公開テストの公平性について、研究者から疑問が呈されています

よくある質問

LMArena は Chatbot Arena や Arena と同じものですか?

はい。Arena の About ページによると、このプラットフォームは以前は Chatbot Arena、その後 LMArena として知られ、現在は arena.ai の Arena として Arena Intelligence Inc. が運営しています。旧アドレスの lmarena.ai は arena.ai にリダイレクトされます。

Arena は無料ですか?

はい。毎日の無料利用クレジット残高が付与され、最初のプロンプトから24時間後に更新されます。また、Text Arena と Code Arena の Battle モードではクレジットを消費しません。Arena は、レート制限を解除する有料サービスはないとしています。

Arena のランキングはどのように算出されますか?

Battle モードでのコミュニティの投票から、スタイル制御付きの Bradley-Terry レーティングモデルを用いて算出されます。両方のモデルがまだ匿名の状態で投じられた投票のみが対象となり、Side by Side モードや Direct モードの投票はリーダーボードに影響しません。

Arena でのチャットは非公開ですか?

完全には非公開ではありません。Arena の FAQ によると、会話は匿名化された後、公開の研究用データセットや、モデル提供元との非公開の評価で共有される場合があります。Arena は、機密情報を入力しないことを推奨しています。

Arena のコードネーム付きモデルとは何ですか?

ラボが公開前にコミュニティとともにテストする、リリース前のモデルです。テストされたバージョンがリリースされ、Arena のポリシーを満たす場合、そのスコアは正式名称で公開リーダーボードに追加されます。

Arena には API はありますか?

Arena API は招待制の開発者向けプレビューで、最先端モデルを各ラボ自身のトークン単価で提供します。招待がない場合は、ウェイティングリストに登録できます。

代替製品を比較

LMSys Chatbot Arena

フリーミアム

この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。

1日1通 · 2クリックで解除 · サードパーティのトラッキングなし