Skip to content

LMSys Chatbot Arena im Test

Arena (früher LMArena und LMSYS Chatbot Arena) ist eine kostenlose Website, auf der Sie mit zwei anonymen KI-Modellen chatten und für die bessere Antwort abstimmen. Die Stimmen bilden öffentliche Ranglisten.

Freemium

Storks Urteil zu LMSys Chatbot Arena

Arena ist der Ort, um KI-Modelle blind und kostenlos zu vergleichen und Crowd-Rankings zu lesen; halten Sie sensible Daten heraus und ergänzen Sie es um feste Benchmarks, bevor Sie ein Modell auswählen.

LMSys Chatbot Arena reviewed by Stork AI · stork.ai/de/chat-lmsys-org

stork
Ich bin ein einziges Standbild.
Ein getippter Satz. Dieser Clip hat $0.05 gekostet, das Minimum pro Video.
Lassen Sie ein Foto sprechen: $0.20 pro Minute.
Ein Foto hochladen und den Text tippen. Kein Abo. Ein Video pro Tag kostenlos.
Kostenlos ausprobierenFür Entwickler: Es gibt eine API

Was Arena leistet

Arena begann als Chatbot Arena, ein Forschungsprojekt der UC Berkeley, wurde in LMArena umbenannt und läuft heute unter arena.ai bei Arena Intelligence Inc. Sie geben einen Prompt ein, der Battle-Modus liefert Antworten von zwei anonymen Modellen, und Sie stimmen für die Antwort ab, die Ihnen besser gefällt. Die Modellnamen werden erst nach der Abstimmung angezeigt, und nur Stimmen, die abgegeben werden, solange die Modelle anonym sind, zählen für die Rankings. Arena wandelt diese Stimmen mit dem Bradley-Terry-Modell, einer Methode für paarweise Vergleiche ähnlich dem Elo-System, unter Anwendung von Style Control in Bewertungen um.

Neben dem Battle-Modus gibt es Side by Side (Sie wählen die beiden Modelle selbst aus; die Stimmen zählen nicht für die Rangliste) und den Direct-Modus (Chat mit einem Modell, keine Abstimmung). Die Website deckt Chat, Websuche, Bild- und Videogenerierung sowie das Erstellen von Apps und Websites ab. Ranglisten werden veröffentlicht für Text, WebDev, Image-to-WebDev, Vision, Document, Search, Text to Image, Image Edit, Text to Video, Image to Video, Video Edit und eine Agent-Kategorie. Modell-Labs testen auf Arena außerdem Modelle vor der Veröffentlichung unter Codenamen.

Arena-Preise

PlanPreisEnthalten
Arena Web-App$0Tägliches Guthaben an kostenlosen Nutzungs-Credits; ein 24-Stunden-Zeitraum beginnt mit Ihrem ersten Prompt; der Battle-Modus in Text Arena und Code Arena verbraucht keine Credits
Kostenpflichtiger Tarif zum Aufheben von LimitsNicht angebotenLaut dem Help Center von Arena gibt es keinen kostenpflichtigen Dienst, der Ratenlimits aufhebt
Arena API (Developer Preview)Nur auf Einladung; pro Token zum eigenen Preis des Modell-Labs, kein Aufschlag angegebenZugang zu Frontier-Modellen von Anthropic, Google, OpenAI, Kimi, DeepSeek und weiteren; Warteliste für Personen ohne Einladung
AI Evaluations (für Modell-Labs und Unternehmen)Preise nicht veröffentlicht; Kontakt zum VertriebEvaluierungen auf Grundlage von realem menschlichem Feedback; laut Arena finanziert sich das Unternehmen auf diese Weise

Für die Nutzung der Website gibt es kein Abonnement. Die Limits gelten pro Modell und pro Chat-Häufigkeit; wenn Sie eines erreichen, bleibt nur, den Countdown bis zum Zurücksetzen abzuwarten. Die Höhe der Credits selbst ist nicht veröffentlicht.

Arena veröffentlicht keine Preisseite; die Bedingungen wurden am 2. November 2026 im Help Center und in den FAQ des Anbieters geprüft. Siehe Arenas Credit-System.

Wichtige Funktionen

Das führt Arena in den FAQ, auf der Seite „How It Works“ und im Help Center auf:

  • Battle-Modus: Zwei anonyme Modelle antworten, Sie stimmen ab, die Namen werden nach der Abstimmung angezeigt
  • Side-by-Side-Modus zum Vergleich zweier selbst gewählter Modelle, außerhalb der offiziellen Rankings
  • Direct-Modus zum Chatten mit einem einzelnen gewählten Modell
  • Ranglisten für Text, Coding (WebDev), Vision, Dokumente, Suche, Bild und Video
  • Modelle von Labs vor der Veröffentlichung erscheinen vor dem Launch unter Codenamen
  • Offene Datensätze mit Prompts, Stimmen und Modellpaarungen auf Hugging Face und Arena Explorer
  • Veröffentlichte Forschung, darunter das ursprüngliche Chatbot-Arena-Paper (ICML 2024)

Für wen Arena am besten geeignet ist

Arena eignet sich für alle, die zwischen KI-Modellen wählen und schnell sehen möchten, wie Menschen sie bei realen Prompts bewerten, sowie für Personen, die gern viele Frontier-Modelle und Modelle vor der Veröffentlichung kostenlos an einem Ort ausprobieren. Forschende erhalten offene Präferenzdaten und eine dokumentierte Methodik.

Suchen Sie anderswo, wenn Sie private Unterhaltungen benötigen: Arena gibt an, dass Ihre Prompts nach einer De-Identifizierung in öffentlichen Forschungsdatensätzen und an Modellanbieter weitergegeben werden können. Halten Sie daher sensible Daten heraus. Wenn Sie Benchmark-Scores aus festen Tests sowie Daten zu Geschwindigkeit und Preis möchten, passt Artificial Analysis besser. Für eine kostenpflichtige, private Multi-Modell-Chat-App nutzen Sie Poe, und für den API-Zugang zu vielen Modellen im Produktivbetrieb OpenRouter.

Was Nutzer sagen

Die Rangliste von Arena wird von Labs und der Presse häufig zitiert, und die eigene About-Seite führt Berichte im Wall Street Journal, bei Reuters und bei TechCrunch auf. Die bekannteste Kritik ist das Paper The Leaderboard Illusion von 2025. Dessen Autorinnen und Autoren prüften etwa 2 Millionen Battles und argumentierten, dass einige große Anbieter davon profitierten, viele Varianten privat zu testen und einen größeren Anteil der Arena-Daten zu erhalten, was die Rankings verzerren kann. Arena begegnet solchen Bedenken mit einer veröffentlichten Leaderboard-Richtlinie und offenen Datensätzen. Verstehen Sie die Rangliste als Maß für die menschliche Präferenz bei den Prompts von Arena, nicht als vollständigen Benchmark.

Vorteile

  • Kostenlos nutzbar, ohne dass ein kostenpflichtiger Tarif nötig ist, um Frontier-Modelle auszuprobieren
  • Blindes Abstimmen verringert die Markenverzerrung in den Rankings
  • Ranglisten für Text, Code, Vision, Suche, Bild und Video
  • Früher Zugang zu Modellen vor der Veröffentlichung unter Codenamen
  • Offene Datensätze und veröffentlichte Methodik

Nachteile

  • Prompts können de-identifiziert an Forschende und Modellanbieter weitergegeben werden
  • Tägliche Credits und Ratenlimits pro Modell, ohne Möglichkeit, diese gegen Bezahlung aufzuheben
  • Die Rankings spiegeln die Präferenz bei Arena-Prompts wider, nicht die Genauigkeit bei festen Tests
  • Forschende haben die Fairness privater Tests durch große Labs infrage gestellt

Häufig gestellte Fragen

Ist LMArena dasselbe wie Chatbot Arena und Arena?

Ja. Laut der About-Seite von Arena hieß die Plattform zuvor Chatbot Arena, dann LMArena und heißt jetzt Arena unter arena.ai, betrieben von Arena Intelligence Inc. Die alte Adresse lmarena.ai leitet auf arena.ai weiter.

Ist Arena kostenlos?

Ja. Sie erhalten ein tägliches Guthaben an kostenlosen Nutzungs-Credits, das 24 Stunden nach Ihrem ersten Prompt neu aufgeladen wird. Der Battle-Modus in Text Arena und Code Arena verbraucht keine Credits. Arena gibt an, dass es keinen kostenpflichtigen Dienst zum Aufheben von Ratenlimits gibt.

Wie werden die Arena-Rankings berechnet?

Aus Community-Stimmen im Battle-Modus, mithilfe des Bradley-Terry-Bewertungsmodells mit Style Control. Es zählen nur Stimmen, die abgegeben werden, solange beide Modelle noch anonym sind; Stimmen im Side-by-Side- und im Direct-Modus wirken sich nicht auf die Rangliste aus.

Sind meine Arena-Chats privat?

Nicht vollständig. Laut den FAQ von Arena können Unterhaltungen nach einer De-Identifizierung in öffentlichen Forschungsdatensätzen und in privaten Evaluierungen mit Modellanbietern weitergegeben werden. Arena empfiehlt, keine sensiblen Informationen einzugeben.

Was sind die Modelle mit Codenamen auf Arena?

Es sind Modelle vor der Veröffentlichung, die Labs vor dem Launch mit der Community testen. Wird eine getestete Version veröffentlicht und erfüllt sie die Richtlinie von Arena, wird ihr Score unter ihrem offiziellen Namen in die öffentliche Rangliste aufgenommen.

Hat Arena eine API?

Eine Arena API befindet sich in einer Developer Preview nur auf Einladung und bietet Frontier-Modelle zum jeweiligen Preis pro Token des Labs. Ohne Einladung können Sie sich auf die Warteliste setzen lassen.

Alternativen vergleichen

LMSys Chatbot Arena

Freemium

Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.

eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte