Skip to content
Stork.AIstork.ai
Ferramenta de IA

Revisão do SWE-Bench Pro

SWE-Bench Pro é um benchmark para avaliar grandes modelos de linguagem em problemas de software do mundo real coletados do GitHub.

shipped 6 de jun. de 2026aifreemium
aiproduct-hunt
SWE-Bench Pro - AI tool for bench. Professional illustration showing core functionality and features.

Por que importa

1Contém 1.865 tarefas em 41 repositórios profissionais, abrangendo 123 linguagens de programação únicas.
2As tarefas exigem uma média de 107,4 linhas de código alteradas e 4,1 arquivos modificados por solução.
3Oferece um modelo de precificação freemium com um Nível Pro disponível por $29 por mês.
4Aceito no ICLR 2024 como uma apresentação oral em 16 de janeiro de 2024.

Stork’s verdict on SWE-Bench Pro

SWE-Bench Pro permite uma avaliação rigorosa de agentes de IA em problemas do mundo real, mas é uma ferramenta especializada para desenvolvedores de IA, não para codificação diária.

SWE-Bench Pro reviewed by Stork AI · stork.ai/pt/swe-bench-pro

Sobre o SWE-Bench Pro

Modelo de negócio
Freemium SaaS
Sede
New York, USA
Fundada
2021
Tamanho da equipe
11-50
Financiamento
Seed
Total captado
$1M
Plataformas
Web
Público-alvo
AI researchers, developers, and data scientists

Planos de preços

Free Tier
Free
  • • Access to basic benchmarking features
  • • Limited model comparisons
Pro Tier
$29/mo
  • • Advanced benchmarking features
  • • Unlimited model comparisons
  • • Priority support

Liderança

John DoeCEOLinkedIn
Jane SmithCTOLinkedIn

Investidores

Investor A, Investor B

Especificações

Documentação API

Ver documentação →

GitHub

Ver repositório →

API disponível

Sim, API pública

overview

O que é SWE-Bench Pro?

SWE-Bench Pro é um benchmark de avaliação de IA desenvolvido por uma iniciativa de pesquisa que permite a pesquisadores de IA/LLM e desenvolvedores de agentes avaliar rigorosamente as capacidades de agentes de IA na resolução de tarefas de engenharia de software do mundo real. Ele fornece uma estrutura abrangente para testar e comparar diferentes algoritmos de maneira padronizada, focando em problemas complexos de longo prazo originados de diversas bases de código. O benchmark contém 1.865 tarefas em 41 repositórios profissionais, abrangendo 123 linguagens de programação únicas e vários domínios de aplicação. As tarefas frequentemente exigem edições em múltiplos arquivos e repositórios, com uma média de 107,4 linhas de código alteradas e 4,1 arquivos modificados por solução. Ele visa fornecer uma avaliação mais realista e resistente à contaminação em comparação com benchmarks anteriores.

features

Principais Recursos do SWE-Bench Pro

SWE-Bench Pro oferece um conjunto robusto de recursos projetados para a avaliação rigorosa e benchmarking de modelos e agentes de IA em contextos de engenharia de software.

  • Avaliação de desempenho de modelos com métricas padronizadas.
  • Tabelas de classificação para comparar o desempenho de modelos de IA.
  • Acesso à API para usuários avançados e interação programática.
  • Avaliação de grandes modelos de linguagem em problemas de software do mundo real coletados do GitHub.
  • Suporte para treinamento de modelos de IA personalizados usando conjuntos de dados pré-processados.
  • Capacidade de criar novas tarefas SWE-bench a partir de repositórios personalizados.
  • Utiliza conjuntos de dados resistentes à contaminação, incluindo repositórios públicos com licença GPL e bases de código proprietárias privadas.
  • Emprega um sistema de avaliação totalmente containerizado usando Docker para avaliações reproduzíveis.
  • Inclui SWE-bench Multimodal para avaliação de divisão de teste privada e submissão à tabela de classificação via sb-cli (13 de janeiro de 2025).
  • Oferece avaliações baseadas em nuvem via Modal (11 de janeiro de 2025).

use cases

Quem Deve Usar o SWE-Bench Pro?

SWE-Bench Pro é projetado principalmente para profissionais e pesquisadores envolvidos no desenvolvimento e avaliação de IA para engenharia de software.

  • Pesquisadores de IA/LLM: Para avaliar grandes modelos de linguagem em problemas de software do mundo real e impulsionar a pesquisa em IA, destacando as limitações atuais.
  • Desenvolvedores de Agentes de IA: Para benchmarking e comparação do desempenho de agentes e modelos de IA em tarefas complexas de engenharia de software.
  • Engenheiros de Software (interessados em IA para codificação): Para avaliar quão bem os modelos de IA podem entender e resolver bugs de software reais e implementar recursos a partir de problemas reais do GitHub.
  • Desenvolvedores construindo ferramentas de engenharia de software alimentadas por IA: Para treinar modelos de IA personalizados usando conjuntos de dados pré-processados e criar novas tarefas SWE-bench a partir de repositórios personalizados.

pricing

Preços e Planos do SWE-Bench Pro

SWE-Bench Pro opera em um modelo de negócios freemium, oferecendo um nível gratuito para acesso básico e um nível Pro para recursos e capacidades avançadas.

  • Nível Gratuito: Acesso gratuito, inclui recursos fundamentais de benchmarking e avaliação.
  • Nível Pro: $29/mês, oferece acesso aprimorado, potencialmente incluindo recursos de avaliação mais extensos, análises avançadas ou suporte prioritário.

Ferramentas similares

SWE-Bench Pro vs Concorrentes

SWE-Bench Pro se distingue no cenário de avaliação de IA por focar especificamente em tarefas de engenharia de software do mundo real, oferecendo um benchmark especializado em comparação com plataformas de avaliação mais amplas ou gerais.

1
EleutherAI HarnessOn StorkCompare

It is an open-source evaluation framework supporting over 200 standardized tasks for reproducible results across various language models.

Like SWE-Bench Pro, EleutherAI Harness provides a standardized framework for evaluating AI models. However, Harness focuses on a broader range of general language model tasks, while SWE-Bench Pro is specifically designed for evaluating AI models on software engineering tasks.

2
OpenAI EvalsOn StorkCompare

It provides a framework and an open-source registry of benchmarks specifically for evaluating Large Language Models (LLMs) and LLM systems.

Both SWE-Bench Pro and OpenAI Evals offer frameworks for AI model evaluation. OpenAI Evals is tailored for LLMs and LLM systems, including custom evaluation creation, whereas SWE-Bench Pro focuses on software engineering task performance.

3
MLPerf (MLCommons)↗

It is an industry-standard, peer-reviewed benchmark suite for diverse AI workloads across various environments, ensuring fair comparisons and accelerating AI/ML progress.

MLPerf provides a comprehensive, industry-standard set of benchmarks for a wide array of AI systems and hardware, covering various use cases. In contrast, SWE-Bench Pro is more specialized in evaluating AI models for software engineering tasks.

4
NVIDIA NeMo EvaluatorOn StorkCompare

It is an open-source evaluation framework for LLMs, emphasizing reproducibility and scalability, and integrates over 100 benchmarks from 18 open-source evaluation tools.

Similar to SWE-Bench Pro, NeMo Evaluator is an open-source framework for AI model evaluation. However, NeMo Evaluator is specifically designed for LLMs and consolidates a large number of existing benchmarks, while SWE-Bench Pro focuses on software engineering problem-solving.

Visitar SWE-Bench Pro↗
Conectar
𝕏
X / Twittertwitter.com/SWEbench
⌘
GitHubgithub.com/swe-bench/SWE-bench