Skip to content

LMSys Chatbot Arena 리뷰

Arena(구 LMArena, LMSYS Chatbot Arena)는 익명의 AI 모델 두 개와 대화한 뒤 더 나은 답변에 투표하는 무료 사이트이며, 이 투표가 공개 리더보드를 구성합니다.

프리미엄(무료+유료)

LMSys Chatbot Arena에 대한 Stork의 평가

Arena는 AI 모델을 블라인드로 무료 비교하고 크라우드소싱 순위를 확인할 수 있는 곳입니다. 민감한 데이터는 입력하지 말고, 모델을 선택하기 전에 고정 벤치마크와 함께 참고하세요.

LMSys Chatbot Arena reviewed by Stork AI · stork.ai/ko/chat-lmsys-org

stork
저는 정지 이미지 한 장입니다.
입력한 문장 하나. 이 영상의 가격은 최소 요금인 $0.05입니다.
사진이 말하는 영상, 분당 $0.20.
사진 한 장을 올리고 문장을 입력하세요. 구독 없음. 하루 1편 무료.
무료로 만들어 보기개발자라면: API도 있습니다

Arena의 기능

Arena는 UC Berkeley 연구 프로젝트인 Chatbot Arena로 시작해 LMArena로 이름이 바뀌었고, 현재는 Arena Intelligence Inc.가 arena.ai에서 운영하고 있습니다. 프롬프트를 입력하면 Battle 모드가 익명의 두 모델이 생성한 답변을 보여 주고, 사용자는 더 마음에 드는 쪽에 투표합니다. 모델 이름은 투표 후에만 공개되며, 모델이 익명인 상태에서 던진 투표만 순위에 반영됩니다. Arena는 이 투표를 Elo와 유사한 쌍대 비교 방식인 Bradley-Terry 모델에 스타일 제어를 적용해 점수로 변환합니다.

Battle 모드 외에도 Side by Side(두 모델을 직접 선택하며, 투표는 리더보드에 반영되지 않음)와 Direct 모드(투표 없이 하나의 모델과 대화)가 있습니다. 이 사이트는 채팅, 웹 검색, 이미지 및 동영상 생성, 앱과 웹사이트 제작을 다룹니다. 리더보드는 Text, WebDev, Image-to-WebDev, Vision, Document, Search, Text to Image, Image Edit, Text to Video, Image to Video, Video Edit 및 Agent 카테고리로 공개됩니다. 모델 연구소들도 코드네임으로 Arena에서 사전 출시 모델을 테스트합니다.

Arena 가격

플랜가격포함 내용
Arena 웹 앱$0일일 무료 사용 크레딧 제공; 24시간 주기는 첫 프롬프트부터 시작; Text Arena와 Code Arena의 Battle 모드는 크레딧을 사용하지 않음
제한 해제용 유료 티어제공되지 않음Arena 고객센터는 사용 제한을 해제하는 유료 서비스를 제공하지 않는다고 밝힘
Arena API (개발자 프리뷰)초대 전용; 토큰당 모델 연구소의 자체 가격, 별도 마크업 명시 없음Anthropic, Google, OpenAI, Kimi, DeepSeek 등의 최첨단 모델 이용 가능; 초대받지 못한 사용자를 위한 대기자 명단 운영
AI Evaluations (모델 연구소 및 기업용)가격 미공개; 영업팀에 문의실제 인간 피드백 기반 평가; Arena가 밝힌 자체 운영 재원

사이트 이용을 위한 구독은 없습니다. 제한은 모델별 및 채팅 빈도별로 적용되며, 제한에 도달하면 카운트다운이 초기화될 때까지 기다리는 방법밖에 없습니다. 크레딧 양 자체는 공개되어 있지 않습니다.

Arena는 별도의 가격 페이지를 공개하지 않으며, 약관은 2026년 11월 2일에 벤더의 고객센터와 FAQ에서 확인했습니다. Arena의 크레딧 시스템을 참고하세요.

주요 기능

Arena가 FAQ, How It Works 페이지, 고객센터에 게재한 내용은 다음과 같습니다.

  • Battle 모드: 익명의 두 모델이 답변하고 사용자가 투표하며, 투표 후 모델 이름이 공개됨
  • Side by Side 모드: 직접 선택한 두 모델을 비교하며, 공식 순위에는 반영되지 않음
  • Direct 모드: 선택한 하나의 모델과 대화
  • 텍스트, 코딩(WebDev), 비전, 문서, 검색, 이미지, 동영상 리더보드
  • 연구소의 사전 출시 모델이 출시 전에 코드네임으로 등장
  • Hugging Face와 Arena Explorer에서 프롬프트, 투표, 모델 조합의 공개 데이터셋 제공
  • 원본 Chatbot Arena 논문(ICML 2024)을 포함한 발표된 연구

Arena가 적합한 사용자

Arena는 AI 모델 중에서 선택하려는 사람 중 실제 프롬프트에 대한 사람들의 평가를 빠르게 확인하고 싶은 분, 그리고 여러 최첨단 모델과 사전 출시 모델을 한곳에서 무료로 써 보고 싶은 분께 적합합니다. 연구자는 공개된 선호도 데이터와 문서화된 방법론을 이용할 수 있습니다.

비공개 대화가 필요하다면 다른 서비스를 찾아보세요. Arena는 프롬프트가 비식별화 후 공개 연구 데이터셋 및 모델 제공업체와 공유될 수 있다고 밝히고 있으므로 민감한 데이터는 입력하지 마세요. 고정된 테스트의 벤치마크 점수와 함께 속도 및 가격 데이터를 원한다면 Artificial Analysis가 더 적합합니다. 유료이며 비공개인 멀티 모델 채팅 앱은 Poe를, 여러 모델에 대한 프로덕션 API 접근은 OpenRouter를 이용하세요.

사용자 평가

Arena의 리더보드는 연구소와 언론에서 널리 인용되며, About 페이지에는 Wall Street Journal, Reuters, TechCrunch에서의 보도가 게재되어 있습니다. 가장 잘 알려진 비판은 2025년 논문 The Leaderboard Illusion으로, 저자들은 약 2백만 건의 대결을 분석해 일부 대형 제공업체가 여러 변형을 비공개로 테스트하고 더 많은 비중의 Arena 데이터를 받아 이득을 얻었으며 이것이 순위를 왜곡할 수 있다고 주장했습니다. Arena는 이러한 우려에 대해 공개된 리더보드 정책과 공개 데이터셋으로 대응하고 있습니다. 리더보드는 전체 벤치마크가 아니라 Arena 프롬프트에 대한 인간 선호도를 측정한 결과로 읽으시기 바랍니다.

장점

  • 무료로 이용 가능하며, 최첨단 모델을 사용해 보기 위해 유료 요금제가 필요하지 않음
  • 블라인드 투표로 순위에서 브랜드 편향을 줄임
  • 텍스트, 코드, 비전, 검색, 이미지, 동영상 리더보드 제공
  • 코드네임으로 공개되는 사전 출시 모델을 먼저 이용 가능
  • 공개 데이터셋과 공개된 방법론 제공

단점

  • 프롬프트가 비식별화된 상태로 연구자 및 모델 제공업체와 공유될 수 있음
  • 일일 크레딧과 모델별 사용 제한이 있으며, 비용을 지불해 제한을 해제할 방법이 없음
  • 순위는 고정된 테스트의 정확도가 아니라 Arena 프롬프트에 대한 선호도를 반영함
  • 연구자들이 대형 연구소의 비공개 테스트 공정성에 의문을 제기함

자주 묻는 질문

LMArena는 Chatbot Arena, Arena와 같은 서비스인가요?

네. Arena의 About 페이지에 따르면 이 플랫폼은 이전에 Chatbot Arena, 이후 LMArena로 불렸으며 현재는 Arena Intelligence Inc.가 운영하는 arena.ai의 Arena입니다. 이전 주소인 lmarena.ai는 arena.ai로 리디렉션됩니다.

Arena는 무료인가요?

네. 첫 프롬프트를 입력한 시점부터 24시간 후에 갱신되는 일일 무료 사용 크레딧이 제공되며, Text Arena와 Code Arena의 Battle 모드는 크레딧을 사용하지 않습니다. Arena는 사용 제한을 해제하는 유료 서비스는 없다고 밝히고 있습니다.

Arena 순위는 어떻게 계산되나요?

Battle 모드의 커뮤니티 투표를 바탕으로 스타일 제어가 적용된 Bradley-Terry 평가 모델을 사용해 산출합니다. 두 모델이 아직 익명인 상태에서 던진 투표만 집계되며, Side by Side 및 Direct 모드의 투표는 리더보드에 영향을 주지 않습니다.

Arena에서의 대화는 비공개인가요?

완전하지는 않습니다. Arena의 FAQ에 따르면 대화는 비식별화 후 공개 연구 데이터셋 및 모델 제공업체와의 비공개 평가에서 공유될 수 있습니다. Arena는 민감한 정보를 입력하지 않을 것을 권장합니다.

Arena의 코드네임 모델은 무엇인가요?

출시 전에 연구소가 커뮤니티와 함께 테스트하는 사전 출시 모델입니다. 테스트된 버전이 출시되고 Arena의 정책을 충족하면, 해당 점수가 공식 명칭으로 공개 리더보드에 추가됩니다.

Arena에는 API가 있나요?

Arena API는 초대 전용 개발자 프리뷰로 제공되며, 최첨단 모델을 각 연구소의 토큰당 가격 그대로 제공합니다. 초대가 없는 경우 대기자 명단에 등록할 수 있습니다.

대안 비교

LMSys Chatbot Arena

프리미엄(무료+유료)

이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.

하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음