Что делает Arena
Arena начиналась как Chatbot Arena, исследовательский проект UC Berkeley, затем была переименована в LMArena, а сейчас работает на arena.ai под управлением Arena Intelligence Inc. Вы вводите запрос, режим Battle выдаёт ответы двух анонимных моделей, и вы голосуете за ту, которая нравится больше. Названия моделей раскрываются только после голосования, а в рейтинги засчитываются лишь голоса, поданные, пока модели анонимны. Arena превращает эти голоса в рейтинги с помощью модели Брэдли — Терри, метода парных сравнений, похожего на Elo, с применением контроля стиля.
Помимо режима Battle есть Side by Side (вы сами выбираете две модели; голоса не учитываются в таблице лидеров) и режим Direct (чат с одной моделью, без голосования). Сайт охватывает чат, веб-поиск, генерацию изображений и видео, а также создание приложений и сайтов. Таблицы лидеров публикуются для категорий Text, WebDev, Image-to-WebDev, Vision, Document, Search, Text to Image, Image Edit, Text to Video, Image to Video, Video Edit и Agent. Лаборатории также тестируют на Arena модели до выпуска под кодовыми названиями.
