Skip to content
Stork.AIstork.ai
KI-Werkzeug

SWE-Bench Pro Bewertung

SWE-Bench Pro ist ein Benchmark zur Bewertung großer Sprachmodelle bei realen Softwareproblemen, die von GitHub gesammelt wurden.

shipped 6. Juni 2026aifreemium
aiproduct-hunt
SWE-Bench Pro - AI tool for bench. Professional illustration showing core functionality and features.

Warum es wichtig ist

1Enthält 1.865 Aufgaben aus 41 professionellen Repositories, die 123 einzigartige Programmiersprachen umfassen.
2Aufgaben erfordern durchschnittlich 107,4 geänderte Codezeilen und 4,1 modifizierte Dateien pro Lösung.
3Bietet ein Freemium-Preismodell mit einem Pro Tier, das für 29 $ pro Monat erhältlich ist.
4Als mündliche Präsentation für die ICLR 2024 am 16. Januar 2024 angenommen.

Stork’s verdict on SWE-Bench Pro

SWE-Bench Pro ermöglicht eine rigorose Bewertung von KI-Agenten bei realen Problemen, aber es ist ein Spezialwerkzeug für KI-Entwickler, nicht für das tägliche Programmieren.

SWE-Bench Pro reviewed by Stork AI · stork.ai/de/swe-bench-pro

Über SWE-Bench Pro

Geschäftsmodell
Freemium SaaS
Hauptsitz
New York, USA
Gegründet
2021
Teamgröße
11-50
Finanzierung
Seed
Gesamtfinanzierung
$1M
Plattformen
Web
Zielgruppe
AI researchers, developers, and data scientists

Preispläne

Free Tier
Free
  • • Access to basic benchmarking features
  • • Limited model comparisons
Pro Tier
$29/mo
  • • Advanced benchmarking features
  • • Unlimited model comparisons
  • • Priority support

Führungsteam

John DoeCEOLinkedIn
Jane SmithCTOLinkedIn

Investoren

Investor A, Investor B

Spezifikationen

API-Dokumentation

Dokumentation ansehen →

GitHub

Repository ansehen →

API verfügbar

Ja, öffentliche API

overview

Was ist SWE-Bench Pro?

SWE-Bench Pro ist ein AI evaluation benchmark, der von einer Forschungsinitiative entwickelt wurde, die AI/LLM-Forschern und Agent-Entwicklern ermöglicht, die Fähigkeiten von AI agents bei der Lösung realer Software-Engineering-Aufgaben rigoros zu bewerten. Es bietet ein umfassendes Framework zum Testen und Vergleichen verschiedener Algorithmen auf standardisierte Weise, wobei der Schwerpunkt auf komplexen, langfristigen Problemen liegt, die aus verschiedenen Codebasen stammen. Der benchmark enthält 1.865 Aufgaben aus 41 professionellen Repositories, die 123 einzigartige Programmiersprachen und verschiedene Anwendungsbereiche umfassen. Aufgaben erfordern oft Bearbeitungen über mehrere Dateien und Repositories hinweg, mit durchschnittlich 107,4 geänderten Codezeilen und 4,1 modifizierten Dateien pro Lösung. Ziel ist es, eine realistischere und contamination-resistant Bewertung im Vergleich zu früheren benchmarks zu bieten.

features

Hauptmerkmale von SWE-Bench Pro

SWE-Bench Pro bietet eine robuste Reihe von Funktionen, die für die rigorose Evaluierung und das Benchmarking von AI-Modellen und agents in Software-Engineering-Kontexten entwickelt wurden.

  • Modellleistungsbewertung mit standardisierten Metriken.
  • Leaderboards zum Vergleich der AI-Modellleistung.
  • API-Zugang für fortgeschrittene Benutzer und programmatische Interaktion.
  • Evaluierung großer Sprachmodelle bei realen Softwareproblemen, die von GitHub gesammelt wurden.
  • Unterstützung für das Training benutzerdefinierter AI-Modelle mithilfe vorverarbeiteter Datensätze.
  • Möglichkeit, neue SWE-bench-Aufgaben aus benutzerdefinierten Repositories zu erstellen.
  • Verwendet contamination-resistant datasets, einschließlich öffentlicher GPL-licensed Repositories und privater proprietärer Codebasen.
  • Setzt ein vollständig containerisiertes Evaluierungssystem mittels Docker für reproduzierbare Evaluierungen ein.
  • Umfasst SWE-bench Multimodal für die private test split evaluation und leaderboard submission über sb-cli (13. Januar 2025).
  • Bietet cloud-based evaluations über Modal (11. Januar 2025).

use cases

Wer sollte SWE-Bench Pro verwenden?

SWE-Bench Pro wurde primär für Fachleute und Forscher entwickelt, die sich mit der Entwicklung und Evaluierung von AI für das Software-Engineering befassen.

  • AI/LLM-Forscher: Zur Evaluierung großer Sprachmodelle bei realen Softwareproblemen und zur Förderung der AI-Forschung durch Hervorhebung aktueller Einschränkungen.
  • AI Agent Developers: Zum Benchmarking und Vergleich der Leistung von AI agents und Modellen bei komplexen Software-Engineering-Aufgaben.
  • Software-Ingenieure (interessiert an AI für das Programmieren): Zur Beurteilung, wie gut AI-Modelle tatsächliche Softwarefehler verstehen und beheben sowie Funktionen aus echten GitHub-Issues implementieren können.
  • Entwickler, die AI-gestützte Software-Engineering-Tools entwickeln: Zum Training benutzerdefinierter AI-Modelle mithilfe vorverarbeiteter Datensätze und zum Erstellen neuer SWE-bench-Aufgaben aus benutzerdefinierten Repositories.

pricing

SWE-Bench Pro Preise & Pläne

SWE-Bench Pro basiert auf einem Freemium-Geschäftsmodell und bietet eine kostenlose Stufe für den grundlegenden Zugang sowie eine Pro-Stufe für erweiterte Funktionen und Fähigkeiten.

  • Kostenlose Stufe: Kostenloser Zugang, beinhaltet grundlegende Benchmarking- und Evaluierungsfunktionen.
  • Pro Stufe: 29 $/Monat, bietet erweiterten Zugang, möglicherweise einschließlich umfangreicherer Evaluierungsressourcen, erweiterter Analysen oder bevorzugtem Support.

Ähnliche Tools

SWE-Bench Pro vs. Wettbewerber

SWE-Bench Pro hebt sich in der AI-Evaluierungslandschaft dadurch ab, dass es sich speziell auf reale Software-Engineering-Aufgaben konzentriert und einen spezialisierten benchmark im Vergleich zu breiteren oder allgemeineren Evaluierungsplattformen bietet.

1
EleutherAI HarnessOn StorkCompare

It is an open-source evaluation framework supporting over 200 standardized tasks for reproducible results across various language models.

Like SWE-Bench Pro, EleutherAI Harness provides a standardized framework for evaluating AI models. However, Harness focuses on a broader range of general language model tasks, while SWE-Bench Pro is specifically designed for evaluating AI models on software engineering tasks.

2
OpenAI EvalsOn StorkCompare

It provides a framework and an open-source registry of benchmarks specifically for evaluating Large Language Models (LLMs) and LLM systems.

Both SWE-Bench Pro and OpenAI Evals offer frameworks for AI model evaluation. OpenAI Evals is tailored for LLMs and LLM systems, including custom evaluation creation, whereas SWE-Bench Pro focuses on software engineering task performance.

3
MLPerf (MLCommons)↗

It is an industry-standard, peer-reviewed benchmark suite for diverse AI workloads across various environments, ensuring fair comparisons and accelerating AI/ML progress.

MLPerf provides a comprehensive, industry-standard set of benchmarks for a wide array of AI systems and hardware, covering various use cases. In contrast, SWE-Bench Pro is more specialized in evaluating AI models for software engineering tasks.

4
NVIDIA NeMo EvaluatorOn StorkCompare

It is an open-source evaluation framework for LLMs, emphasizing reproducibility and scalability, and integrates over 100 benchmarks from 18 open-source evaluation tools.

Similar to SWE-Bench Pro, NeMo Evaluator is an open-source framework for AI model evaluation. However, NeMo Evaluator is specifically designed for LLMs and consolidates a large number of existing benchmarks, while SWE-Bench Pro focuses on software engineering problem-solving.

SWE-Bench Pro besuchen↗
Kontakt
𝕏
X / Twittertwitter.com/SWEbench
⌘
GitHubgithub.com/swe-bench/SWE-bench