Skip to content

Análise do LMSys Chatbot Arena

O Arena (anteriormente LMArena e LMSYS Chatbot Arena) é um site gratuito em que você conversa com dois modelos de IA anônimos e vota na melhor resposta, e os votos formam rankings públicos.

Freemium

Veredito da Stork sobre LMSys Chatbot Arena

O Arena é o lugar para comparar modelos de IA às cegas, gratuitamente e consultar rankings colaborativos; evite inserir dados sensíveis e combine-o com benchmarks fixos antes de escolher um modelo.

LMSys Chatbot Arena reviewed by Stork AI · stork.ai/pt/chat-lmsys-org

stork
Eu sou uma única imagem parada.
Uma frase digitada. Este clipe custou $0.05, o mínimo por vídeo.
Faça uma foto falar por $0.20 o minuto.
Envie uma foto e digite o texto. Sem assinatura. Um vídeo grátis por dia.
Faça um grátisDesenvolvedores: existe uma API

O que o Arena faz

O Arena começou como Chatbot Arena, um projeto de pesquisa da UC Berkeley, foi renomeado como LMArena e agora funciona em arena.ai, sob a Arena Intelligence Inc. Você digita um prompt, o modo Battle apresenta respostas de dois modelos anônimos e você vota na que preferir. Os nomes dos modelos só são revelados após o voto, e apenas os votos dados enquanto os modelos estão anônimos contam para os rankings. O Arena transforma esses votos em pontuações com o modelo Bradley-Terry, um método de comparação em pares semelhante ao Elo, com controle de estilo aplicado.

Além do modo Battle, há o Side by Side (você escolhe os dois modelos; os votos não contam para o ranking) e o modo Direct (conversa com um único modelo, sem votação). O site abrange chat, busca na web, geração de imagens e vídeos, e criação de aplicativos e sites. Há rankings publicados para Text, WebDev, Image-to-WebDev, Vision, Document, Search, Text to Image, Image Edit, Text to Video, Image to Video, Video Edit e uma categoria Agent. Os laboratórios de modelos também testam modelos pré-lançamento no Arena sob nomes de código.

Preços do Arena

PlanoPreçoIncluído
Aplicativo web do Arena$0Saldo diário de créditos de uso gratuitos; o período de 24 horas começa com o seu primeiro prompt; o modo Battle no Text Arena e no Code Arena não consome créditos
Plano pago para remover limitesNão oferecidoA central de ajuda do Arena informa que não oferece um serviço pago que remova os limites de uso
API do Arena (prévia para desenvolvedores)Somente por convite; por token, ao preço do próprio laboratório do modelo, sem acréscimo informadoAcesso a modelos de ponta da Anthropic, Google, OpenAI, Kimi, DeepSeek e outros; lista de espera para quem não tem convite
AI Evaluations (para laboratórios de modelos e empresas)Preço não divulgado; contate o setor de vendasAvaliações baseadas em feedback humano do mundo real; é assim que o Arena diz financiar suas operações

Não há assinatura para usar o site. Os limites são por modelo e por frequência de chat; ao atingir um deles, a única opção é aguardar a contagem regressiva para a renovação. O valor dos créditos em si não é divulgado.

O Arena não publica uma página de preços; condições verificadas na central de ajuda e no FAQ do fornecedor em 2 de novembro de 2026. Veja o sistema de créditos do Arena.

Principais recursos

O que o Arena lista em seu FAQ, na página How It Works e na central de ajuda:

  • Modo Battle: dois modelos anônimos respondem, você vota e os nomes são revelados após o voto
  • Modo Side by Side para comparar dois modelos à sua escolha, fora dos rankings oficiais
  • Modo Direct para conversar com um único modelo escolhido
  • Rankings de texto, programação (WebDev), visão, documentos, busca, imagem e vídeo
  • Modelos pré-lançamento de laboratórios aparecem sob nomes de código antes do lançamento
  • Conjuntos de dados abertos de prompts, votos e pareamentos de modelos no Hugging Face e no Arena Explorer
  • Pesquisas publicadas, incluindo o artigo original do Chatbot Arena (ICML 2024)

Para quem o Arena é mais indicado

O Arena é adequado para quem escolhe entre modelos de IA e quer uma visão rápida de como as pessoas os avaliam em prompts reais, e para quem gosta de experimentar gratuitamente, em um só lugar, muitos modelos de ponta e pré-lançamento. Pesquisadores obtêm dados de preferência abertos e uma metodologia documentada.

Procure outras opções se precisar de conversas privadas: o Arena informa que seus prompts podem ser compartilhados em conjuntos de dados de pesquisa públicos e com provedores de modelos após a desidentificação, portanto evite inserir dados sensíveis. Se você quer pontuações de benchmark em testes fixos, além de dados de velocidade e preço, o Artificial Analysis é a opção mais adequada. Para um aplicativo de chat multimodelo pago e privado, use o Poe, e para acesso de API em produção a muitos modelos, use o OpenRouter.

O que dizem os usuários

O ranking do Arena é amplamente citado por laboratórios e pela imprensa, e a própria página About lista menções no Wall Street Journal, na Reuters e no TechCrunch. A crítica mais conhecida é o artigo de 2025 The Leaderboard Illusion, cujos autores auditaram cerca de 2 milhões de batalhas e argumentaram que alguns grandes provedores se beneficiaram de testar privadamente muitas variantes e de receber uma parcela maior dos dados do Arena, o que pode distorcer os rankings. O Arena responde a esse tipo de preocupação com uma política de ranking publicada e conjuntos de dados abertos. Leia o ranking como uma medida da preferência humana nos prompts do Arena, e não como um benchmark completo.

Prós

  • Uso gratuito, sem necessidade de plano pago para testar modelos de ponta
  • A votação cega reduz o viés de marca nos rankings
  • Rankings para texto, código, visão, busca, imagem e vídeo
  • Acesso antecipado a modelos pré-lançamento sob nomes de código
  • Conjuntos de dados abertos e metodologia publicada

Contras

  • Os prompts podem ser compartilhados, de forma desidentificada, com pesquisadores e provedores de modelos
  • Créditos diários e limites de uso por modelo, sem possibilidade de pagar para removê-los
  • Os rankings refletem a preferência nos prompts do Arena, e não a precisão em testes fixos
  • Pesquisadores questionaram a equidade dos testes privados realizados por grandes laboratórios

Perguntas frequentes

O LMArena é o mesmo que Chatbot Arena e Arena?

Sim. A página About do Arena informa que a plataforma era anteriormente conhecida como Chatbot Arena, depois LMArena, e agora é Arena, em arena.ai, operada pela Arena Intelligence Inc. O endereço antigo lmarena.ai redireciona para arena.ai.

O Arena é gratuito?

Sim. Você recebe um saldo diário de créditos de uso gratuitos, que é renovado 24 horas após o seu primeiro prompt, e o modo Battle no Text Arena e no Code Arena não consome créditos. O Arena informa que não há serviço pago para remover os limites de uso.

Como são calculados os rankings do Arena?

A partir dos votos da comunidade no modo Battle, usando o modelo de classificação Bradley-Terry com controle de estilo. Só contam os votos dados enquanto ambos os modelos ainda estão anônimos; os votos nos modos Side by Side e Direct não afetam o ranking.

Minhas conversas no Arena são privadas?

Não totalmente. O FAQ do Arena informa que as conversas podem ser compartilhadas em conjuntos de dados de pesquisa públicos e em avaliações privadas com provedores de modelos, após a desidentificação. O Arena recomenda não inserir informações sensíveis.

O que são os modelos com nome de código no Arena?

São modelos pré-lançamento que os laboratórios testam com a comunidade antes do lançamento. Se uma versão testada for lançada e atender à política do Arena, sua pontuação é adicionada ao ranking público com o nome oficial.

O Arena tem API?

Uma API do Arena está em prévia para desenvolvedores, somente por convite, oferecendo modelos de ponta ao preço por token do próprio laboratório. Sem convite, você pode entrar na lista de espera.

Comparar alternativas

LMSys Chatbot Arena

Freemium

Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.

um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros