overview
DeepSWE란 무엇인가요?
DeepSWE는 Datacurve에서 개발한 AI 코딩 벤치마크 도구로, 연구원, 모델 제공업체 및 엔지니어링 팀이 새롭고 이전에 접하지 못한 시나리오에서 에이전트 AI의 진정한 문제 해결 능력을 평가할 수 있도록 합니다. 이는 현실적이고 장기적인 소프트웨어 엔지니어링 작업에서 AI 성능을 평가하기 위한 오염 없는 환경을 제공합니다.
AI 도구
DeepSWE 리뷰
DeepSWE는 새롭고 이전에 접하지 못한 시나리오에서 에이전트 AI의 진정한 문제 해결 능력을 평가하도록 설계된 강력한 AI 코딩 벤치마크입니다.
shipped 2026년 6월 1일aifreemium
ai
핵심 포인트
191개의 오픈 소스 저장소에서 처음부터 작성된 113개의 오염 없는 작업으로 AI 코딩 에이전트를 평가합니다.
22026년 5월경 Datacurve에 의해 출시되었으며, OpenAI의 GPT-5.5를 70% 성공률로 선두 주자로 확립했습니다.
3보고된 오탐율 0.3% 및 미탐율 1.1%를 가진 수동 작성된 행동 기반 검증기를 특징으로 합니다.
4작업은 프롬프트에서 평균 2,158자이며, 7개 파일에 걸쳐 평균 668줄의 코드를 필요로 합니다.
Stork’s verdict on DeepSWE
DeepSWE는 코딩 에이전트의 실질적인 문제 해결 능력을 평가하지만, 일부 사용자는 모델 순위에 의문을 제기합니다.
DeepSWE reviewed by Stork AI · stork.ai/ko/deepswe
features
DeepSWE의 주요 기능
DeepSWE는 이전 벤치마크에서 관찰된 한계를 해결하며, AI 코딩 에이전트에 대한 엄격하고 신뢰할 수 있는 평가를 제공하도록 설계된 여러 기술적 기능을 통합합니다.
- 새롭고 이전에 접하지 못한 시나리오에서 에이전트 AI의 진정한 문제 해결 능력을 평가합니다.
- 113개의 처음부터 작성된 작업으로 AI 코딩 에이전트를 위한 오염 없는 벤치마크를 제공합니다.
- 91개의 오픈 소스 저장소에 걸쳐 현실적이고 장기적인 소프트웨어 엔지니어링 작업에서 AI 코딩 에이전트를 평가합니다.
- 짧은 코딩 퍼즐보다 실제 소프트웨어 엔지니어링 작업에 가까운 작업에서 AI 코딩 에이전트를 비교합니다.
- 저장소 탐색, 다중 파일 변경, 행동 정확성 및 검증에서 에이전트의 능력을 측정합니다.
- 새로운 AI 코딩 에이전트의 점수를 매기고 벤치마크 리더보드 재현을 지원합니다.
- AI 코딩 모델의 행동 경향 및 성능에 대한 통찰력을 제공합니다.
- 보고된 오탐율 0.3% 및 미탐율 1.1%를 가진 수동 작성된 행동 기반 검증기를 사용합니다.
use cases
누가 DeepSWE를 사용해야 하나요?
DeepSWE는 특화된 평가 기능으로 인해 AI 및 소프트웨어 엔지니어링 분야의 다양한 이해관계자들에게 활용됩니다.
- 연구원: 독창적이고 장기적인 소프트웨어 엔지니어링 작업에서 최첨단 코딩 에이전트를 평가하고 모델의 강점과 약점을 식별하기 위해.
- 모델 제공업체: 새로운 AI 코딩 에이전트를 벤치마킹하고 오염 없는 환경에서 리더보드 결과를 재현하기 위해.
- 엔지니어링 팀 및 리더: 실제 시나리오에서 저장소 탐색, 다중 파일 변경, 행동 정확성 및 검증에서 에이전트의 능력을 평가하기 위해.
- 개발자: AI 코딩 모델의 행동 경향 및 성능을 이해하고 AI 개발을 추진하기 위해.
- 사업주 및 기업 구매자: 조달 결정을 내리기 위해 실제 소프트웨어 엔지니어링 작업에 가까운 작업에서 AI 코딩 에이전트를 비교하기 위해.
pricing
DeepSWE 가격 및 플랜
DeepSWE는 프리미엄 모델로 운영되며, 벤치마크 기능에 대한 액세스를 위한 무료 티어를 제공합니다. 무료 제공 외의 유료 티어 또는 고급 기능에 대한 구체적인 세부 정보는 공개적으로 명시되어 있지 않지만, 프리미엄 모델은 기본 액세스가 무료로 제공되며, 유료 플랜을 통해 잠재적인 프리미엄 기능 또는 더 높은 사용 한도를 이용할 수 있음을 시사합니다.
- 프리미엄: 무료 티어 사용 가능
Pros
- +Provides a contamination-free benchmark design, preventing models from 'cheating' on seen data.
- +Evaluates genuine problem-solving capabilities on novel, unseen, long-horizon software engineering tasks.
- +Utilizes a diverse set of 113 tasks from 91 active open-source repositories across five programming languages.
- +Offers robust evaluation of repository exploration, multi-file changes, behavioral correctness, and verification.
- +Addresses perceived flaws and a 'benchmark trust crisis' in existing AI coding evaluations.
- +Includes open-source components (tasks, evaluation framework,
mini-swe-agentharness) available on GitHub.
Cons
- −Specific pricing for advanced features or enterprise solutions is not publicly detailed as of late 2026.
- −Some user discussions indicate skepticism regarding the accuracy of certain model rankings and reported cost calculations.
- −An API is not available for programmatic integration, limiting direct automation.
- −The benchmark's focus is solely on coding tasks, not broader AI agent evaluation or hardware performance metrics.
- −Requires familiarity with GitHub and the
mini-swe-agentharness for full utilization and reproduction of results.
유사한 도구
DeepSWE 대 경쟁사
DeepSWE는 기존 AI 코딩 평가 도구에 비해 뚜렷한 이점을 제공하는 2세대 벤치마크로 자리매김하고 있습니다.
1
Galileo AI provides a unified platform for evaluating, monitoring, and protecting GenAI applications and agents across their entire lifecycle, from development to production.
Galileo AI offers a comprehensive platform for agent evaluation and observability, similar to DeepSWE's goal of evaluating agentic AI. While DeepSWE focuses specifically on coding benchmarks for novel scenarios, Galileo AI provides broader evaluation and monitoring capabilities for various agentic behaviors, including tool orchestration and multi-step actions.
2
DeepEval is an open-source, pytest-native LLM evaluation framework offering over 50 research-backed metrics for comprehensive agent evaluation across various use cases.
DeepEval is an open-source framework, aligning with DeepSWE's freemium model, and provides a programmatic way to evaluate AI agents, including their reasoning and action layers. DeepSWE specifically targets coding benchmarks for novel scenarios, whereas DeepEval offers a broader set of metrics for different AI agent behaviors, integrating directly into CI/CD workflows.
3
ProjDevBench is an end-to-end benchmark designed to evaluate AI coding agents on their ability to develop complete, runnable software projects from high-level requirements.
ProjDevBench is a direct benchmark for evaluating AI coding agents on end-to-end project development, which closely mirrors DeepSWE's focus on evaluating problem-solving capabilities on novel coding scenarios. Unlike DeepSWE, which is described as a 'robust AI coding benchmark,' ProjDevBench is presented as a specific benchmark dataset and methodology for project-level evaluation.
4
Artificial Analysis AgentPerf provides the industry's first multi-vendor open benchmarks for profiling real-world AI agent coding tasks, focusing on hardware performance under agentic workloads.
AgentPerf is a benchmark specifically for AI agent coding tasks, similar to DeepSWE. However, AgentPerf primarily measures hardware performance and concurrent agent support under real-world coding trajectories, using private test sets to prevent optimization, which aligns with 'novel scenarios.' DeepSWE focuses more broadly on the agent's problem-solving capabilities rather than the underlying hardware performance.
AI Reputation Report
Is DeepSWE yours?
ChatGPT, Perplexity, Gemini, Claude & Grok answer buyer questions about DeepSWE every day. See whether they name DeepSWE — or send buyers to a rival.
See what AI saysfree preview