Was Arena leistet
Arena begann als Chatbot Arena, ein Forschungsprojekt der UC Berkeley, wurde in LMArena umbenannt und läuft heute unter arena.ai bei Arena Intelligence Inc. Sie geben einen Prompt ein, der Battle-Modus liefert Antworten von zwei anonymen Modellen, und Sie stimmen für die Antwort ab, die Ihnen besser gefällt. Die Modellnamen werden erst nach der Abstimmung angezeigt, und nur Stimmen, die abgegeben werden, solange die Modelle anonym sind, zählen für die Rankings. Arena wandelt diese Stimmen mit dem Bradley-Terry-Modell, einer Methode für paarweise Vergleiche ähnlich dem Elo-System, unter Anwendung von Style Control in Bewertungen um.
Neben dem Battle-Modus gibt es Side by Side (Sie wählen die beiden Modelle selbst aus; die Stimmen zählen nicht für die Rangliste) und den Direct-Modus (Chat mit einem Modell, keine Abstimmung). Die Website deckt Chat, Websuche, Bild- und Videogenerierung sowie das Erstellen von Apps und Websites ab. Ranglisten werden veröffentlicht für Text, WebDev, Image-to-WebDev, Vision, Document, Search, Text to Image, Image Edit, Text to Video, Image to Video, Video Edit und eine Agent-Kategorie. Modell-Labs testen auf Arena außerdem Modelle vor der Veröffentlichung unter Codenamen.
