overview
DeepSWEとは？
DeepSWEは、Datacurveによって開発されたAIコーディングベンチマークツールであり、研究者、モデルプロバイダー、およびエンジニアリングチームが、未知の新しいシナリオにおけるエージェントAIの真の問題解決能力を評価することを可能にします。現実的で長期的なソフトウェアエンジニアリングタスクにおけるAIのパフォーマンスを評価するための、汚染のない環境を提供します。
AIツール
DeepSWE レビュー
DeepSWEは、未知の新しいシナリオにおけるエージェントAIの真の問題解決能力を評価するために設計された、堅牢なAIコーディングベンチマークです。
shipped 2026年6月1日aifreemium
ai
注目ポイント
191のオープンソースリポジトリにわたる、ゼロから作成された113の汚染のないタスクでAIコーディングエージェントを評価します。
2Datacurveによって2026年5月頃にリリースされ、OpenAIのGPT-5.5が70%の成功率でリーダーとしての地位を確立しました。
3報告されている誤検出率0.3%、偽陰性率1.1%の手書きの行動ベースの検証ツールを特徴としています。
4タスクはプロンプトで平均2,158文字、7つのファイルにわたる平均668行のコードを必要とします。
Stork’s verdict on DeepSWE
DeepSWE は、コーディングエージェントの 真の問題解決能力 を評価しますが、一部のユーザーはそのモデルランキングに疑問を呈しています。
DeepSWE reviewed by Stork AI · stork.ai/ja/deepswe
features
DeepSWEの主な機能
DeepSWEは、以前のベンチマークで観察された制限に対処し、AIコーディングエージェントの厳格で信頼性の高い評価を提供するために設計されたいくつかの技術的機能を組み込んでいます。
- 未知の新しいシナリオにおけるエージェントAIの真の問題解決能力を評価します。
- ゼロから作成された113のタスクにより、AIコーディングエージェント向けの汚染のないベンチマークを提供します。
- 91のオープンソースリポジトリにわたる、現実的で長期的なソフトウェアエンジニアリングタスクでAIコーディングエージェントを評価します。
- 短いコーディングパズルよりも実際のソフトウェアエンジニアリング作業に近いタスクでAIコーディングエージェントを比較します。
- リポジトリ探索、複数ファイルの変更、行動の正確性、および検証におけるエージェントの能力を測定します。
- 新しいAIコーディングエージェントを採点し、ベンチマークリーダーボードの再現をサポートします。
- AIコーディングモデルの行動傾向とパフォーマンスに関する洞察を提供します。
- 報告されている誤検出率0.3%、偽陰性率1.1%の手書きの行動ベースの検証ツールを採用しています。
use cases
DeepSWEは誰が使うべきか？
DeepSWEは、その専門的な評価能力により、AIおよびソフトウェアエンジニアリング分野の様々な関係者によって利用されています。
- 研究者: オリジナルで長期的なソフトウェアエンジニアリングタスクにおいて最先端のコーディングエージェントを評価し、モデルの強みと弱みを特定するため。
- モデルプロバイダー: 汚染のない環境で新しいAIコーディングエージェントのベンチマークを行い、リーダーボードの結果を再現するため。
- エンジニアリングチーム＆リーダー: 実世界のシナリオにおけるリポジトリ探索、複数ファイルの変更、行動の正確性、および検証におけるエージェントの能力を評価するため。
- 開発者: AIコーディングモデルの行動傾向とパフォーマンスを理解し、AI開発を推進するため。
- ビジネスオーナー＆エンタープライズバイヤー: 調達の意思決定に役立てるため、実際のソフトウェアエンジニアリング作業に近いタスクでAIコーディングエージェントを比較するため。
pricing
DeepSWEの価格とプラン
DeepSWEはフリーミアムモデルで運営されており、そのベンチマーク機能へのアクセスに無料プランを提供しています。有料プランや無料提供を超える高度な機能に関する具体的な詳細は公開されていませんが、フリーミアムモデルは、基本的なアクセスは無料で利用でき、有料プランを通じてプレミアム機能やより高い利用制限が利用可能であることを示唆しています。
- Freemium: 無料プランあり
Pros
- +Provides a contamination-free benchmark design, preventing models from 'cheating' on seen data.
- +Evaluates genuine problem-solving capabilities on novel, unseen, long-horizon software engineering tasks.
- +Utilizes a diverse set of 113 tasks from 91 active open-source repositories across five programming languages.
- +Offers robust evaluation of repository exploration, multi-file changes, behavioral correctness, and verification.
- +Addresses perceived flaws and a 'benchmark trust crisis' in existing AI coding evaluations.
- +Includes open-source components (tasks, evaluation framework,
mini-swe-agentharness) available on GitHub.
Cons
- −Specific pricing for advanced features or enterprise solutions is not publicly detailed as of late 2026.
- −Some user discussions indicate skepticism regarding the accuracy of certain model rankings and reported cost calculations.
- −An API is not available for programmatic integration, limiting direct automation.
- −The benchmark's focus is solely on coding tasks, not broader AI agent evaluation or hardware performance metrics.
- −Requires familiarity with GitHub and the
mini-swe-agentharness for full utilization and reproduction of results.
類似ツール
DeepSWEと競合製品の比較
DeepSWEは、既存のAIコーディング評価ツールに対して明確な利点を提供する、第二世代のベンチマークとして位置づけられています。
1
Galileo AI provides a unified platform for evaluating, monitoring, and protecting GenAI applications and agents across their entire lifecycle, from development to production.
Galileo AI offers a comprehensive platform for agent evaluation and observability, similar to DeepSWE's goal of evaluating agentic AI. While DeepSWE focuses specifically on coding benchmarks for novel scenarios, Galileo AI provides broader evaluation and monitoring capabilities for various agentic behaviors, including tool orchestration and multi-step actions.
2
DeepEval is an open-source, pytest-native LLM evaluation framework offering over 50 research-backed metrics for comprehensive agent evaluation across various use cases.
DeepEval is an open-source framework, aligning with DeepSWE's freemium model, and provides a programmatic way to evaluate AI agents, including their reasoning and action layers. DeepSWE specifically targets coding benchmarks for novel scenarios, whereas DeepEval offers a broader set of metrics for different AI agent behaviors, integrating directly into CI/CD workflows.
3
ProjDevBench is an end-to-end benchmark designed to evaluate AI coding agents on their ability to develop complete, runnable software projects from high-level requirements.
ProjDevBench is a direct benchmark for evaluating AI coding agents on end-to-end project development, which closely mirrors DeepSWE's focus on evaluating problem-solving capabilities on novel coding scenarios. Unlike DeepSWE, which is described as a 'robust AI coding benchmark,' ProjDevBench is presented as a specific benchmark dataset and methodology for project-level evaluation.
4
Artificial Analysis AgentPerf provides the industry's first multi-vendor open benchmarks for profiling real-world AI agent coding tasks, focusing on hardware performance under agentic workloads.
AgentPerf is a benchmark specifically for AI agent coding tasks, similar to DeepSWE. However, AgentPerf primarily measures hardware performance and concurrent agent support under real-world coding trajectories, using private test sets to prevent optimization, which aligns with 'novel scenarios.' DeepSWE focuses more broadly on the agent's problem-solving capabilities rather than the underlying hardware performance.
AI Reputation Report
Is DeepSWE yours?
ChatGPT, Perplexity, Gemini, Claude & Grok answer buyer questions about DeepSWE every day. See whether they name DeepSWE — or send buyers to a rival.
See what AI saysfree preview