SWE-Bench Proは、GitHubから収集された実世界のソフトウェア問題に関する大規模言語モデルを評価するためのベンチマークです。
Investor A, Investor B
<a href="https://www.stork.ai/en/swe-bench-pro" target="_blank" rel="noopener noreferrer"><img src="https://www.stork.ai/api/badge/swe-bench-pro?style=dark" alt="SWE-Bench Pro - Featured on Stork.ai" height="36" /></a>
[](https://www.stork.ai/en/swe-bench-pro)
overview
SWE-Bench Proは、AI/LLM研究者やエージェント開発者が、実世界のソフトウェアエンジニアリングタスクを解決するAIエージェントの能力を厳密に評価できるようにする研究イニシアチブによって開発されたAI評価ベンチマークです。これは、多様なコードベースから調達された複雑で長期的な問題に焦点を当て、異なるアルゴリズムを標準化された方法でテストおよび比較するための包括的なフレームワークを提供します。このベンチマークには、41のプロフェッショナルリポジトリにわたる1,865のタスクが含まれており、123のユニークなプログラミング言語と様々なアプリケーションドメインにまたがっています。タスクはしばしば複数のファイルやリポジトリにわたる編集を必要とし、ソリューションあたり平均107.4行のコード変更と4.1ファイルの修正が行われます。これは、以前のベンチマークと比較して、より現実的で汚染耐性のある評価を提供することを目指しています。
quick facts
| 属性 | 値 |
|---|---|
| 開発者 | 未指定 |
| ビジネスモデル | Freemium SaaS |
| 価格 | Freemium、月額29ドルから |
| プラットフォーム | Web |
| API利用可能 | はい |
| 設立 | 2021 |
| 本社 | ニューヨーク、USA |
| 資金調達 | シード、100万ドル |
features
SWE-Bench Proは、ソフトウェアエンジニアリングのコンテキストにおけるAIモデルおよびエージェントの厳密な評価とベンチマークのために設計された堅牢な機能セットを提供します。
use cases
SWE-Bench Proは、主にソフトウェアエンジニアリングのためのAIの開発と評価に携わる専門家や研究者向けに設計されています。
pricing
SWE-Bench Proはフリーミアムビジネスモデルで運営されており、基本的なアクセスには無料ティアを、高度な機能と能力にはProティアを提供しています。
competitors
SWE-Bench Proは、実世界のソフトウェアエンジニアリングタスクに特化することで、AI評価の分野で差別化を図っており、より広範または一般的な評価プラットフォームと比較して専門的なベンチマークを提供します。
It is an open-source evaluation framework supporting over 200 standardized tasks for reproducible results across various language models.
Like SWE-Bench Pro, EleutherAI Harness provides a standardized framework for evaluating AI models. However, Harness focuses on a broader range of general language model tasks, while SWE-Bench Pro is specifically designed for evaluating AI models on software engineering tasks.
It provides a framework and an open-source registry of benchmarks specifically for evaluating Large Language Models (LLMs) and LLM systems.
Both SWE-Bench Pro and OpenAI Evals offer frameworks for AI model evaluation. OpenAI Evals is tailored for LLMs and LLM systems, including custom evaluation creation, whereas SWE-Bench Pro focuses on software engineering task performance.
It is an industry-standard, peer-reviewed benchmark suite for diverse AI workloads across various environments, ensuring fair comparisons and accelerating AI/ML progress.
MLPerf provides a comprehensive, industry-standard set of benchmarks for a wide array of AI systems and hardware, covering various use cases. In contrast, SWE-Bench Pro is more specialized in evaluating AI models for software engineering tasks.
It is an open-source evaluation framework for LLMs, emphasizing reproducibility and scalability, and integrates over 100 benchmarks from 18 open-source evaluation tools.
Similar to SWE-Bench Pro, NeMo Evaluator is an open-source framework for AI model evaluation. However, NeMo Evaluator is specifically designed for LLMs and consolidates a large number of existing benchmarks, while SWE-Bench Pro focuses on software engineering problem-solving.
SWE-Bench Proは、AI/LLM研究者やエージェント開発者が、実世界のソフトウェアエンジニアリングタスクを解決するAIエージェントの能力を厳密に評価できるようにする研究イニシアチブによって開発されたAI評価ベンチマークです。これは、多様なコードベースから調達された複雑で長期的な問題に焦点を当て、異なるアルゴリズムを標準化された方法でテストおよび比較するための包括的なフレームワークを提供します。
はい、SWE-Bench Proは無料ティアを提供しています。さらに、月額29ドルでProティアも利用でき、より高度な機能と能力にアクセスできます。
SWE-Bench Proの主な機能には、モデル性能評価、AIモデル用リーダーボード、標準化されたベンチマークメトリクス、APIアクセス、実世界のGitHubソフトウェア問題に関するLLMの評価、カスタムAIモデルのトレーニングサポート、カスタムリポジリから新しいSWE-benchタスクを作成する機能が含まれます。また、コンテナ化された評価ハーネスと汚染耐性のあるデータセットも利用しています。
SWE-Bench Proは、AI/LLM研究者、AIエージェント開発者、コーディングのためのAIに関心のあるソフトウェアエンジニア、およびAI搭載ソフトウェアエンジニアリングツールを構築する開発者向けです。これらのグループが、複雑なソフトウェアエンジニアリング問題を解決するAIモデルの能力を評価、ベンチマーク、改善するのに役立ちます。
SWE-Bench Proは、実世界のソフトウェアエンジニアリングタスクにおけるAIエージェントの評価に特化することで差別化を図っています。EvalAIのような広範なプラットフォームや、HELMやDeepEvalのような一般的なLLM評価フレームワークとは異なり、SWE-Bench Proはコーディングエージェントに特化したベンチマークを提供します。Arize AIのような包括的なエンタープライズプラットフォームと比較すると、SWE-Bench ProはエンドツーエンドのAIライフサイクル管理ソリューションではなく、専門的なベンチマークです。
Storkでもっと
このカテゴリの他のツール（コミュニティ評価順）
AWEAR
🤖 AI Tools
エレガントでパワフルなテクノロジーがあなたの生活にシームレスにフィットし、最先端のAIとneuroscienceを駆使してストレス、集中力、感情をリアルタイムで追跡します。精神的負担の隠れた層を理解し、レジリエンスを構築し、バランスを保ちましょう。
Recoverit
🤖 AI Tools
Recoverit AI搭載データ復元ソフトウェアは、ハードドライブ、SDカード、USBドライブ、クラッシュしたPC、Macデバイスから削除されたファイル、写真、ビデオ、ドキュメントの復元をサポートします。無料ダウンロード。
PatchDesign.AI
🤖 AI Tools
無料AIパッチデザインツール。 生成回数無制限、サブスクリプション不要、クレジットカード不要。 専門家による人間による刺繍レビュー込み。 刺繍、PVC、
WolfBench
🤖 AI Tools
WolframはWolfBenchに、目立たないが重要な機能を搭載しました。それは、各バーの奥行きが、モデルがそのスコアを得るために使用したトークン数を表す3Dバーです。
Agent Arena
🤖 AI Tools
世界最高のAIモデルについてチャットし、比較し、投票しましょう。実世界での評価を通じて、LLM、画像、コードモデルのpublic leaderboardを形作るコミュニティに参加しましょう
atomic.chat
🤖 AI Tools
Mac、Windows、iPhone向けの無料オープンソースローカルAIチャット。Llama、Qwen、DeepSeek、Gemmaをオフラインで実行 — 1,000以上のモデル、クラウド不要、サブスクリプション不要。無料ダウンロード。
For builders
AI agents read it. Buyers find it. Backlinks accrue. Your tool can have one too — live in 24 hours, indexed by Claude, ChatGPT, and Perplexity, queryable via MCP.
