AIツール

Coarena by Coasty Review

Coarena by Coastyは、人間の判断を通じてAIエージェントのパフォーマンスを評価するためのライブタスクを提供するプラットフォームです。

shipped 2026年8月13日agentsfreemium

agentsvideocode

注目ポイント

1Coarena by Coastyは2026年8月13日にProduct Huntでローンチされました。

2このプラットフォームは、https://coarena.ai/api/metrics でパフォーマンス追跡のためのMetrics APIを提供しています。

3フリーミアムビジネスモデルで運営されており、ユーザー向けの無料ティアを提供しています。

4Coarena by CoastyはY Combinatorの支援を受けています。

Coarena by Coasty について

ビジネスモデル

Freemium SaaS

資金調達

Y Combinator backed

プラットフォーム

Web

対象ユーザー

Developers and researchers working with AI agents

投資家

Y Combinator

API Docs

仕様

API提供状況

はい、公開API

overview

Coarena by Coastyとは？

Coarena by Coastyは、Coastyによって開発されたAI評価ツールであり、AI開発者、研究者、企業が実際のコンピュータタスクでAIエージェントをベンチマークすることを可能にします。競争構造を通じて様々なタスクの比較を容易にし、ユーザーがリアルタイムデータと人間の判断に基づいてAI出力を評価することに参加できるようにします。このプラットフォームは、過学習したり時代遅れになったりする可能性のある従来のベンチマークの限界に対処し、AIエージェントを評価するための透明で実用的かつコミュニティ主導の方法を提供することを目指しています。ユーザーは複数のAIモデルが同じワークフローを並行して実行するのを観察し、その速度、精度、信頼性を比較し、勝者に投票することができます。このプロセスは、フロンティアAIラボ向けに、実際のタスク、完全なコンピュータ使用軌跡、各エージェントのパフォーマンスに対するブラインドな人間の好みラベルを含む貴重なデータセットを生成します。

features

Coarena by Coastyの主な機能

Coarena by Coastyは、実際のタスクにおけるAIエージェントの厳密な評価と比較のために設計された一連の機能を提供します。

ウェブサイトのナビゲートやエンタープライズソフトウェアとの対話を含む、コンピュータ使用エージェントの実際の評価。
AIエージェントのパフォーマンスに関する即時フィードバックとリアルタイムデータ収集のためのライブタスク。
モデルの身元が審査員に隠される、客観的な評価のためのブラインドな人間の判断。
様々なタスクにおけるAIエージェントのパフォーマンスを追跡し表示するための動的リーダーボード。
プログラムによるパフォーマンス追跡と統合のためのMetrics API (https://coarena.ai/api/metrics)。
コミュニティ主導のタスク提出と評価により、常に進化する課題セットを保証。
コンピュータ使用軌跡と人間の好みラベルを含む、高品質なデータセットの生成。

use cases

Coarena by Coastyは誰が使うべきか？

Coarena by Coastyは、AIエージェントの開発、研究、展開に関わる特定のペルソナや組織向けに設計されており、評価およびベンチマークのためのツールを提供します。

AI開発者: 実際のコンピュータタスクでAIエージェントを比較・評価し、最高のパフォーマンスを発揮するものを特定するため。
AI研究者: 人間が判断したAIエージェントのパフォーマンスに関する高品質なデータセットを生成し、実際のコンピュータ作業に対してAIモデルをベンチマークするため。
AIモデルを評価する企業: エンタープライズソフトウェアにおける速度、精度、信頼性について、AIエージェントがワークフローを並行して完了するのを観察するため。
AI愛好家: 様々なソフトウェアにおける日常業務で最高のパフォーマンスを発揮するAIエージェントを発見し、コミュニティ主導の評価に参加するため。

how to use

Coarena by Coastyの使い方

Coarena by Coastyを使用するには、ユーザーはAIエージェントに完了させるタスクを提出するか、既存のタスクでエージェントのパフォーマンスを判断することに参加できます。このプラットフォームは、リアルタイム評価のためのインタラクティブな環境を提供します。

1https://coarena.ai/ のCoarena by Coastyプラットフォームにアクセスします。
2評価機能にアクセスするためにアカウントを登録します。
3AIエージェントが試行するための新しいコンピュータ使用タスクを提出し、希望するワークフローを指定します。
4ライブ環境で複数のAIエージェントが同じタスクを並行して実行するのを観察します。
5AIエージェントのパフォーマンスについてブラインドな人間の判断を提供し、速度や精度などの基準に基づいて勝者を選択します。
6動的リーダーボードを利用して、様々なAIエージェントとモデルのパフォーマンスを追跡します。

pricing

Coarena by Coastyの価格とプラン

Coarena by Coastyはフリーミアムモデルで運営されており、ユーザーがタスクを提出し、エージェントのパフォーマンスを判断するためのコア評価プラットフォームへの無料アクセスを提供しています。評価アリーナは無料ですが、これらの活動から生成される高品質なコンピュータ使用データセットは商業化されています。

無料ティア: AIエージェントのタスク提出とブラインドな人間の判断に参加するためのCoarenaプラットフォームへのアクセスを提供します。
コンピュータ使用データセット: 消費量に応じて価格設定され、ライセンスされた好みおよび軌跡データに対して契約が締結されます。公開サンプルはオープンなティーザーとして利用可能です。

Pros

+Enables evaluation of AI agents on real-world computer tasks, addressing limitations of synthetic benchmarks.
+Utilizes blind human judgment to ensure unbiased and objective performance assessment.
+Generates valuable datasets of human-judged AI agent performance and computer-use trajectories for frontier AI labs.
+Fosters a community-driven approach with continuously evolving and relevant evaluation challenges.
+Offers a free tier for users to participate in task submission and agent judging.
+Provides a Metrics API for programmatic access to performance tracking.

Cons

−The commercialization of generated datasets requires consumption-based pricing and contracts, which may not be suitable for all users.
−One user feedback noted a missing reasoning-level indicator, suggesting potential areas for feature enhancement.
−The platform's novelty means direct competitors in the AI agent evaluation space are less clearly defined, potentially requiring user education.
−Compliance status (ISO, SOC2) is not certified, which might be a consideration for some enterprise users.

類似ツール