Herramienta de IADead Man Walking

Revisión de SWEbench

SWEbench es un benchmark para evaluar las capacidades de ingeniería de software de los grandes modelos de lenguaje, centrado principalmente en la corrección de errores de problemas reales de GitHub.

shipped 1 jun 2026aifreemium

Leer reseña completa↓

Visitar SWEbench↗

SWEbench - AI tool for swebench. Professional illustration showing core functionality and features.

1SWE-bench Verified, lanzado el 13 de agosto de 2024, comprende 500 problemas resolubles confirmados por ingenieros.

2El 27 de junio de 2024, SWE-bench hizo la transición a un arnés de evaluación completamente contenedorizado utilizando Docker para una mayor reproducibilidad.

3A partir del 2 de abril de 2024, SWE-agent logró resultados de vanguardia en el conjunto completo de pruebas de SWE-bench.

4SWE-Smith Multilingual se expandió para soportar JavaScript con 6,099 parches validados para el 13 de enero de 2026.

𝕏 in ↑↗

Stork Quadrant

Dead Man Walking· 12/100

An LLM can do most of what this tool's UI promises. No moat, no agent presence.

“SWEbench is a benchmark, not a product — its value is being the agreed-upon measuring stick the industry uses to compare models. That brand authority is real: when Anthropic, OpenAI, and Google all cite your numbers, you have cultural lock-in that's hard to dislodge. But benchmarks get gamed, forked, and superseded fast. The data moat is thin — the GitHub issues and PRs are public — so the real moat is being first and cited enough that switching costs are social, not technical.”
— Claude Sonnet 4.6, scored 2026-06-01

Defensibility · 22/100

Physical-world coupling
Regulatory moat
Network liquidity
Proprietary refreshing data
High-trust catastrophic workflows
Multi-party coordination
Brand / community / taste

An LLM alone could replace

Generate a set of coding tasks or bug-fix prompts for testing an LLM
Evaluate whether a code patch is correct by describing expected behavior
Summarize model performance across a set of software engineering tasks
Write test cases to validate bug fixes

Agent-Readiness · 0/100

Verified MCP
Listed on agent surfaces
Usage-based pricing
Headless agent auth
Public OpenAPI
Active changelog
llms.txt

How to defend

Continuously expand the benchmark with harder, more diverse, and more recent tasks that can't be memorized by training data. Build the coordination layer — become the neutral third-party evaluation infrastructure that labs pay to run certified evals on, adding a trust and process moat on top of the brand.

Ship an MCP server and list it on Stork — biggest single point gain (+25).
Get listed in the Anthropic MCP registry, Cursor, or Claude Desktop (+20).
Add a usage-based or per-call tier; per-seat-only pricing dies when agents replace seats (+15).
Expose API-key auth with a self-serve sandbox tier; remove sales-call gates (+15).
Publish an OpenAPI spec at /openapi.json or /.well-known/openapi (+10).

How this score is computed →See the full quadrant How to defend

SWEbench at a Glance

Pricing

freemium

Key Features

Evaluates large language models on real-world software issues from GitHub. · Includes SWE-bench Verified, a subset of 500 engineer-confirmed solvable problems. · SWE-bench++ extends the benchmark with 1865 tasks across 41 professional repositories.

Alternatives

HumanEval, LiveCodeBench, ClassEval, APPS (Automated Programming Progress Standard)

</>Embed "Featured on Stork" Badge▼

HTML

<a href="https://www.stork.ai/en/swebench" target="_blank" rel="noopener noreferrer"><img src="https://www.stork.ai/api/badge/swebench?style=dark" alt="SWEbench - Featured on Stork.ai" height="36" /></a>

Markdown

[![SWEbench - Featured on Stork.ai](https://www.stork.ai/api/badge/swebench?style=dark)](https://www.stork.ai/en/swebench)

overview

¿Qué es SWEbench?

SWEbench es una herramienta de benchmark desarrollada por una iniciativa de investigación que permite a los desarrolladores e investigadores de Large Language Model (LLM) evaluar las capacidades de ingeniería de software de los grandes modelos de lenguaje. Se centra principalmente en evaluar la capacidad de los agentes de codificación de IA para resolver problemas de software del mundo real de GitHub. Esta plataforma simula desafíos de codificación complejos al proporcionar una base de código y una descripción del problema, encargando al LLM la generación de un parche que resuelva el problema. SWEbench sirve como una plataforma de evaluación rigurosa para la IA en el desarrollo de software, evaluando a los agentes de codificación de IA en su capacidad para comprender, navegar y corregir errores reales o implementar características dentro de grandes bases de código existentes. Su objetivo es impulsar a los modelos de IA a mejorar los estándares de codificación, la productividad y la resolución de errores mediante el establecimiento de altos benchmarks.

quick facts

Datos Rápidos

Atributo	Valor
Desarrollador	Iniciativa de Investigación
Modelo de Negocio	Freemium
Precios	Freemium (benchmark principal gratuito para investigación)
Fuente de Datos	problemas de software del mundo real de GitHub
API Disponible	No
Entrenamiento con Datos del Usuario	siempre

features

Características Clave de SWEbench

SWEbench ofrece un conjunto completo de características diseñadas para la evaluación y el desarrollo rigurosos de modelos de codificación de IA, centrándose en desafíos de ingeniería de software del mundo real.

1Evalúa las capacidades de ingeniería de software de los grandes modelos de lenguaje en problemas del mundo real.
2Centrado principalmente en la corrección de errores de problemas de GitHub para una relevancia práctica.
3Soporta el entrenamiento de modelos de codificación de IA utilizando conjuntos de datos preprocesados.
4Permite ejecutar inferencia en modelos de IA existentes para la resolución de problemas de software.
5Permite crear nuevas tareas de SWE-bench a partir de repositorios personalizados.
6Facilita la evaluación comparativa y la comparación del rendimiento de diferentes sistemas de codificación de IA.
7Ofrece un arnés de evaluación completamente contenedorizado utilizando Docker para evaluaciones reproducibles.
8Incluye SWE-bench Verified, un subconjunto de 500 problemas resolubles confirmados por ingenieros.
9Presenta SWE-bench Multimodal, que integra problemas con elementos visuales como imágenes y diagramas (a partir del 13 de enero de 2025).
10Proporciona evaluaciones basadas en la nube a través de Modal (a partir del 11 de enero de 2025).

use cases

¿Quién Debería Usar SWEbench?

SWEbench está diseñado para audiencias específicas involucradas en el desarrollo, evaluación y aplicación de la inteligencia artificial en la ingeniería de software.

1**Desarrolladores e Investigadores de Large Language Model (LLM):** Para evaluar LLMs en tareas de ingeniería de software del mundo real y comparar el rendimiento.
2**Desarrolladores de Sistemas de IA:** Para comparar y evaluar el rendimiento de diferentes sistemas de codificación de IA y mejorar el Ciclo de Vida de Desarrollo de Software (SDLC).
3**Ingenieros de Software y Equipos de Ingeniería:** Para identificar las habilidades de codificación del mundo real de los agentes de IA y potencialmente integrar la IA para la resolución de errores.
4**Profesionales de Machine Learning:** Para entrenar modelos de codificación de IA utilizando conjuntos de datos preprocesados y ejecutar inferencia en modelos de IA existentes.
5**Investigadores de PNL:** Para explorar la aplicación del procesamiento del lenguaje natural en tareas complejas de comprensión y generación de código.

pricing

Precios y Planes de SWEbench

SWEbench opera bajo un modelo freemium, sirviendo principalmente como un benchmark de investigación. El benchmark principal, los conjuntos de datos y el arnés de evaluación están generalmente disponibles de forma gratuita, apoyando los esfuerzos de investigación y desarrollo académicos. Las ofertas específicas a nivel comercial o empresarial con características avanzadas o soporte dedicado no se detallan públicamente.

1Nivel Gratuito: Acceso al benchmark principal, conjuntos de datos y herramientas de evaluación para uso académico y de investigación.
2Niveles Premium: No detallados públicamente; puede existir potencial para servicios de evaluación empresariales o avanzados, pero no están especificados.

competitors

SWEbench vs Competidores

SWEbench se posiciona como un benchmark líder para evaluar las capacidades de ingeniería de software de extremo a extremo de los LLMs, centrándose particularmente en la corrección de errores del mundo real. Se diferencia de otros benchmarks por su énfasis en problemas auténticos de GitHub y la resolución de problemas a nivel de repositorio.

HumanEvalOn Stork Compare

HumanEval is a benchmark dataset developed by OpenAI specifically for evaluating large language models on code generation tasks, focusing on understanding programming tasks and producing syntactically correct and functionally accurate code.

SWEbench focuses on real-world bug fixes in existing codebases, requiring models to handle long contexts and operate within execution environments. HumanEval, in contrast, primarily assesses the ability to generate standalone functions from docstrings and unit tests, making it a simpler, function-level code generation benchmark.

LiveCodeBench↗

LiveCodeBench evaluates LLMs on 400 problems from competitive programming platforms, focusing on code generation, self-repair, and test output prediction, with problems updated over time to reduce data contamination.

While SWEbench focuses on fixing real-world bugs in existing repositories, LiveCodeBench emphasizes competitive programming challenges and the ability to self-repair code, often using problems released after a model's training cutoff to ensure genuine generalization.

ClassEvalOn Stork Compare

ClassEval is a manually constructed benchmark that measures how well LLMs can generate full classes of code, including tasks with library, field, or method dependencies, reflecting real-world software engineering scenarios.

SWEbench evaluates bug-fixing capabilities within large, existing codebases, whereas ClassEval specifically assesses the generation of complete, interdependent code classes, moving beyond isolated functions to more complex structural coding tasks.

APPS (Automated Programming Progress Standard)On Stork Compare

APPS is a large-scale code generation benchmark comprising 10,000 problems collected from open-access competitive coding websites, ranging from one-line solutions to substantial algorithmic challenges.

SWEbench is centered on resolving real-world software issues and generating patches for bugs in existing repositories. APPS, conversely, evaluates an LLM's ability to generate satisfactory Python code from natural language specifications, primarily focusing on algorithmic problem-solving rather than bug fixing in a pre-existing codebase.

Real-World Software Engineering Tasks (Upwork Benchmark)↗

This benchmark evaluates LLMs on real-world software engineering tasks sourced directly from Upwork freelance jobs, including both coding ability and engineering management decisions, with actual dollar values attached.

Both SWEbench and this benchmark focus on real-world software engineering problems. However, the Upwork benchmark uniquely ties performance to economic value and includes higher-level engineering management decisions, whereas SWEbench is specifically focused on generating patches to fix GitHub issues.

❓

Preguntas frecuentes

+¿Qué es SWEbench?

+¿Es SWEbench gratuito?

SWEbench opera bajo un modelo freemium. El benchmark principal, los conjuntos de datos y el arnés de evaluación están generalmente disponibles de forma gratuita, apoyando principalmente los esfuerzos de investigación y desarrollo académicos. Las ofertas específicas a nivel comercial o empresarial no se detallan públicamente.

+¿Cuáles son las principales características de SWEbench?

Las características clave de SWEbench incluyen la evaluación de LLMs en la corrección de errores reales de GitHub, el soporte para el entrenamiento de modelos de codificación de IA, la habilitación de inferencia en modelos existentes, la creación de nuevas tareas a partir de repositorios personalizados y la facilitación de una evaluación comparativa integral. También ofrece un arnés de evaluación contenedorizado e incluye versiones especializadas como SWE-bench Verified y SWE-bench Multimodal.

+¿Quién debería usar SWEbench?

SWEbench está destinado principalmente a desarrolladores e investigadores de Large Language Model (LLM), desarrolladores de sistemas de IA, ingenieros de software, profesionales de machine learning e investigadores de PNL que se centran en evaluar y mejorar las capacidades de la IA en tareas de ingeniería de software del mundo real, particularmente la resolución de errores.

+¿Cómo se compara SWEbench con las alternativas?

SWEbench se distingue por centrarse en la corrección de errores del mundo real a nivel de repositorio a partir de problemas de GitHub, a diferencia de HumanEvalFix que utiliza problemas a nivel de función con errores sintéticos. Aunque similar a RepoFixEval en alcance, SWEbench no utiliza explícitamente un marco de evaluación de tres pasos. En comparación con LiveCodeBench, SWEbench está más especializado en la corrección de errores, mientras que LiveCodeBench ofrece una evaluación más amplia de las capacidades de codificación. Frente a SM-100, SWEbench se centra principalmente en Python, mientras que SM-100 cubre múltiples lenguajes de programación para tareas de mantenimiento de software.

For builders

This page is doing a job for someone else’s tool.

AI agents read it. Buyers find it. Backlinks accrue. Your tool can have one too — live in 24 hours, indexed by Claude, ChatGPT, and Perplexity, queryable via MCP.

List your tool What you get