overview
Überblick
Eine offene Plattform zur Bewertung und zum Vergleich großer Sprachmodelle durch crowdsourcing-basierte Wettbewerbe. Vergleichen Sie GPT-4, Claude, Gemini und weitere Modelle nebeneinander.
KI-Werkzeug
LMSys Chatbot-Arena
Eine offene Plattform zur Bewertung und zum Vergleich großer Sprachmodelle durch crowdsourced Duelle. Vergleichen Sie GPT-4, Claude, Gemini und weitere Modelle direkt nebeneinander.
shipped 25. Nov. 2025chatbotfreemium
chatbotLLMbenchmark
Warum es wichtig ist
1Sure! Please provide the text you would like me to translate into German.
2Of course! Please provide the text you would like me to translate into German.
3The term "benchmark" can be translated into German as "Referenzwert" or "Benchmark." The choice depends on the context in which it is used. If you have a specific sentence or context in mind, feel free to share!
Stork’s verdict on LMSys Chatbot Arena
Chatbot Arena bietet eine dynamische Elo-ähnliche Bestenliste, aber ihre Ergebnisse können durch Modelle verzerrt werden, die für ihren spezifischen Prompt-Stil optimiert sind.
how to use
So verwendest du LMSys Chatbot Arena
LMSys Chatbot Arena bietet eine unkomplizierte webbasierte Oberfläche, um mit großen Sprachmodellen zu interagieren und sie zu bewerten. Nutzer nehmen an 'Battles' teil, um zur dynamischen Rangliste beizutragen.
- 1Zugriff auf die Plattform: Rufe arena.ai (ehemals lmarena.ai) in einem Webbrowser auf.
- 2Ein Battle starten: Wähle den 'Battle Mode', um einen anonymen, zufälligen paarweisen Vergleich zu beginnen.
- 3Mit LLMs interagieren: Stelle im bereitgestellten Chat-Interface gleichzeitig zwei nicht identifizierten LLMs Prompts.
- 4Antworten bewerten: Vergleiche Qualität, Nützlichkeit und Relevanz der Antworten beider Modelle.
- 5Stimme abgeben: Stimme für die bessere Antwort, erkläre ein Unentschieden oder gib an, ob beide Antworten schlecht sind.
- 6Rangliste ansehen: Rufe den Bereich 'Leaderboard' auf, um die dynamischen, Elo-ähnlichen Rankings verschiedener LLMs auf Basis der kumulierten Nutzerstimmen zu sehen.
Pros
- +Bietet eine dynamische, an menschlichen Präferenzen ausgerichtete Rangliste auf Basis von Millionen realer Nutzerinteraktionen.
- +Bietet anonyme, zufällige paarweise Vergleiche, was hilft, Verzerrungen bei der Bewertung zu mindern.
- +Wird kontinuierlich mit neuen Modellen und Funktionen aktualisiert, einschließlich multimodaler Fähigkeiten seit Juni 2024.
- +Adressiert die Grenzen statischer Benchmarks durch einen kontinuierlichen Strom neuer Prompts von echten Nutzern.
- +Trägt mit wertvollen Konversationsdatensätzen und open-source Infrastruktur (FastChat) zu Forschung und Reproduzierbarkeit bei.
Cons
- −Möglichkeit, dass Modelle speziell für Arena-artige Prompts optimiert werden, was zu überhöhten Werten führt, die sich möglicherweise nicht verallgemeinern lassen.
- −Kein umfassender 'One-Stop-Benchmark' für alle Bewertungsbedürfnisse; Experten empfehlen, ihn mit aufgabenbasierten Bewertungen zu kombinieren.
- −Von Natur aus auf Konversationsaufgaben ausgerichtet und spiegelt die Leistung bei hochspezialisierten oder langen, komplexen Interaktionen möglicherweise nicht genau wider.
- −Es bestehen Bedenken hinsichtlich möglicher Unternehmenseinflüsse oder Manipulation der Ergebnisse, während der Einfluss der Plattform wächst.
- −Die Anonymisierung reduziert zwar Verzerrungen, kann es jedoch erschweren, spezifische Modellgrenzen zu verstehen, ohne die Identitäten nach dem Battle offenzulegen.
Ähnliche Tools
Alternativen vergleichen
Andere Tools, die Sie in Betracht ziehen könnten
1
WhatLLM.org↗
It aggregates benchmark data, real-world pricing, and throughput metrics for a vast number of LLMs, offering a unified interface for comparison.
Unlike LMSys Chatbot Arena's crowdsourced battles, WhatLLM.org focuses on aggregating and presenting quantitative benchmark data, pricing, and speed metrics for developers and researchers to make informed decisions.
2
Provides comprehensive comparisons of leading AI chatbots based on their own detailed benchmarking of intelligence, features, context windows, and performance metrics.
While both offer comparisons, Artificial Analysis provides its own structured benchmarks and detailed metrics, whereas LMSys Chatbot Arena relies on real-time, anonymous human preference battles to generate its leaderboard.
3
It's a web app and Python library designed for scalable analysis of side-by-side LLM evaluations with interactive visualizations, helping users understand *why* model performance differs.
Unlike the public, crowdsourced nature of LMSys Chatbot Arena, Google LLM Comparator is a tool for developers to analyze side-by-side evaluation results more deeply, focusing on identifying and understanding performance discrepancies.
4
An open-source framework that allows developers to build, run, and share custom benchmarks and evaluation tasks for LLMs, fostering community contribution to testing.
OpenAI Evals is a framework for creating and running benchmarks, offering a programmatic approach to evaluation, whereas LMSys Chatbot Arena is a user-facing platform for interactive, crowdsourced model comparisons.
5
It provides a public, continuously updated leaderboard that ranks open-source LLMs based on standardized benchmarks, offering transparency and a central reference for model performance.
While both provide rankings, the Hugging Face Open LLM Leaderboard focuses on objective, benchmark-driven scores for open-source models, contrasting with LMSys Chatbot Arena's human-preference-based Elo rating system for a broader range of models.