SWEbench는 대규모 언어 모델의 소프트웨어 엔지니어링 역량을 평가하기 위한 벤치마크로, 주로 실제 GitHub 이슈에서 발생하는 버그 수정에 중점을 둡니다.
Stork Quadrant
An LLM can do most of what this tool's UI promises. No moat, no agent presence.
“SWEbench is a benchmark, not a product — its value is being the agreed-upon measuring stick the industry uses to compare models. That brand authority is real: when Anthropic, OpenAI, and Google all cite your numbers, you have cultural lock-in that's hard to dislodge. But benchmarks get gamed, forked, and superseded fast. The data moat is thin — the GitHub issues and PRs are public — so the real moat is being first and cited enough that switching costs are social, not technical.”
An LLM alone could replace
Continuously expand the benchmark with harder, more diverse, and more recent tasks that can't be memorized by training data. Build the coordination layer — become the neutral third-party evaluation infrastructure that labs pay to run certified evals on, adding a trust and process moat on top of the brand.
<a href="https://www.stork.ai/en/swebench" target="_blank" rel="noopener noreferrer"><img src="https://www.stork.ai/api/badge/swebench?style=dark" alt="SWEbench - Featured on Stork.ai" height="36" /></a>
[](https://www.stork.ai/en/swebench)
overview
SWEbench는 연구 이니셔티브에 의해 개발된 벤치마크 도구로, Large Language Model (LLM) 개발자와 연구자가 대규모 언어 모델의 소프트웨어 엔지니어링 역량을 평가할 수 있도록 합니다. 주로 AI 코딩 에이전트가 GitHub에서 발생하는 실제 소프트웨어 문제를 해결하는 능력을 평가하는 데 중점을 둡니다. 이 플랫폼은 코드베이스와 이슈 설명을 제공하여 복잡한 코딩 과제를 시뮬레이션하고, LLM에게 문제를 해결하는 패치를 생성하도록 지시합니다. SWEbench는 소프트웨어 개발 분야의 AI를 위한 엄격한 평가 플랫폼 역할을 하며, AI 코딩 에이전트가 크고 기존의 코드베이스 내에서 실제 버그를 이해하고, 탐색하고, 수정하거나 기능을 구현하는 능력을 벤치마킹합니다. 높은 벤치마크를 설정함으로써 AI 모델이 코딩 표준, 생산성 및 버그 해결 능력을 향상시키도록 유도하는 것을 목표로 합니다.
quick facts
| 속성 | 값 |
|---|---|
| 개발자 | Research Initiative |
| 비즈니스 모델 | Freemium |
| 가격 | Freemium (핵심 벤치마크는 연구용으로 무료) |
| 데이터 소스 | GitHub의 실제 소프트웨어 이슈 |
| API 사용 가능 | 아니요 |
| 사용자 데이터 학습 | 항상 |
features
SWEbench는 실제 소프트웨어 엔지니어링 과제에 중점을 두어 AI 코딩 모델의 엄격한 평가 및 개발을 위해 설계된 포괄적인 기능 세트를 제공합니다.
use cases
SWEbench는 소프트웨어 엔지니어링 분야에서 인공지능의 개발, 평가 및 적용에 참여하는 특정 대상을 위해 설계되었습니다.
pricing
SWEbench는 주로 연구 벤치마크 역할을 하는 프리미엄 모델로 운영됩니다. 핵심 벤치마크, 데이터셋 및 평가 하네스는 일반적으로 무료로 제공되어 학술 연구 및 개발 노력을 지원합니다. 고급 기능이나 전담 지원을 포함하는 특정 상업 또는 기업 수준의 제품은 공개적으로 자세히 설명되어 있지 않습니다.
competitors
SWEbench는 LLM의 엔드투엔드 소프트웨어 엔지니어링 역량을 평가하는 선도적인 벤치마크로 자리매김하고 있으며, 특히 실제 버그 수정에 중점을 둡니다. 실제 GitHub 이슈와 저장소 수준의 문제 해결에 대한 강조를 통해 다른 벤치마크와 차별화됩니다.
HumanEval is a benchmark dataset developed by OpenAI specifically for evaluating large language models on code generation tasks, focusing on understanding programming tasks and producing syntactically correct and functionally accurate code.
SWEbench focuses on real-world bug fixes in existing codebases, requiring models to handle long contexts and operate within execution environments. HumanEval, in contrast, primarily assesses the ability to generate standalone functions from docstrings and unit tests, making it a simpler, function-level code generation benchmark.
LiveCodeBench evaluates LLMs on 400 problems from competitive programming platforms, focusing on code generation, self-repair, and test output prediction, with problems updated over time to reduce data contamination.
While SWEbench focuses on fixing real-world bugs in existing repositories, LiveCodeBench emphasizes competitive programming challenges and the ability to self-repair code, often using problems released after a model's training cutoff to ensure genuine generalization.
ClassEval is a manually constructed benchmark that measures how well LLMs can generate full classes of code, including tasks with library, field, or method dependencies, reflecting real-world software engineering scenarios.
SWEbench evaluates bug-fixing capabilities within large, existing codebases, whereas ClassEval specifically assesses the generation of complete, interdependent code classes, moving beyond isolated functions to more complex structural coding tasks.
APPS is a large-scale code generation benchmark comprising 10,000 problems collected from open-access competitive coding websites, ranging from one-line solutions to substantial algorithmic challenges.
SWEbench is centered on resolving real-world software issues and generating patches for bugs in existing repositories. APPS, conversely, evaluates an LLM's ability to generate satisfactory Python code from natural language specifications, primarily focusing on algorithmic problem-solving rather than bug fixing in a pre-existing codebase.
This benchmark evaluates LLMs on real-world software engineering tasks sourced directly from Upwork freelance jobs, including both coding ability and engineering management decisions, with actual dollar values attached.
Both SWEbench and this benchmark focus on real-world software engineering problems. However, the Upwork benchmark uniquely ties performance to economic value and includes higher-level engineering management decisions, whereas SWEbench is specifically focused on generating patches to fix GitHub issues.
SWEbench는 연구 이니셔티브에 의해 개발된 벤치마크 도구로, Large Language Model (LLM) 개발자와 연구자가 대규모 언어 모델의 소프트웨어 엔지니어링 역량을 평가할 수 있도록 합니다. 주로 AI 코딩 에이전트가 GitHub에서 발생하는 실제 소프트웨어 문제를 해결하는 능력을 평가하는 데 중점을 둡니다.
SWEbench는 프리미엄 모델로 운영됩니다. 핵심 벤치마크, 데이터셋 및 평가 하네스는 주로 학술 연구 및 개발 노력을 지원하기 위해 일반적으로 무료로 제공됩니다. 특정 상업 또는 기업 수준의 제품은 공개적으로 자세히 설명되어 있지 않습니다.
SWEbench의 주요 기능에는 실제 GitHub 버그 수정에 대한 LLM 평가, AI 코딩 모델 훈련 지원, 기존 모델에 대한 추론 활성화, 사용자 지정 저장소에서 새 작업 생성 허용, 포괄적인 벤치마킹 촉진 등이 있습니다. 또한 컨테이너화된 평가 하네스를 제공하며 SWE-bench Verified 및 SWE-bench Multimodal과 같은 특수 버전도 포함합니다.
SWEbench는 주로 실제 소프트웨어 엔지니어링 작업, 특히 버그 해결에서 AI의 역량을 평가하고 개선하는 데 중점을 두는 Large Language Model (LLM) 개발자 및 연구자, AI 시스템 개발자, 소프트웨어 엔지니어, 머신러닝 실무자 및 NLP 연구자를 대상으로 합니다.
SWEbench는 인위적으로 버그가 있는 함수 수준 문제를 사용하는 HumanEvalFix와 달리 GitHub 이슈에서 발생하는 실제 저장소 수준의 버그 수정에 중점을 두어 차별화됩니다. 범위는 RepoFixEval과 유사하지만, SWEbench는 명시적으로 3단계 평가 프레임워크를 사용하지 않습니다. LiveCodeBench와 비교할 때, SWEbench는 버그 수정에 더 특화되어 있는 반면, LiveCodeBench는 더 광범위한 코딩 역량을 평가합니다. SM-100과 비교하면, SWEbench는 주로 Python에 중점을 두는 반면, SM-100은 소프트웨어 유지보수 작업을 위해 여러 프로그래밍 언어를 다룹니다.
For builders
AI agents read it. Buyers find it. Backlinks accrue. Your tool can have one too — live in 24 hours, indexed by Claude, ChatGPT, and Perplexity, queryable via MCP.
