Artificial Analysis의 기능
Artificial Analysis(artificialanalysis.ai)는 AI 모델, 이를 호스팅하는 클라우드 API, 그리고 모델이 실행되는 칩에 대해 자체 벤치마크를 수행하고, 그 결과를 공개 리더보드와 차트로 게시합니다. About 페이지에는 벤치마크된 모델 500개 이상, 추론 제공업체 100개 이상, 엔드포인트 1,000개 이상이 기재되어 있습니다. 대표 수치는 종합 점수인 Artificial Analysis Intelligence Index입니다. 2026년 10월 27일에 발표된 버전 5는 지식 업무, 코딩, 과학, 일반 지식에 각각 25%의 가중치를 두고, Cognition의 FrontierCode 2.0과 Terminal-Bench-Science를 추가했으며, 지수의 60%가 이제 비공개 테스트 세트 또는 보류(held-out)된 정답에 기반한다고 밝히고 있습니다. 언어 모델 외에도 코딩 에이전트, 텍스트-이미지, 비디오, 텍스트-음성, 음성-텍스트, 음악을 다루며, 이미지, 비디오, 음성에 대한 커뮤니티 아레나도 포함합니다.
성능 벤치마크는 칩이 도달할 수 있는 최고치가 아니라 고객이 종단 간으로 체감하는 수치(출력 속도, 첫 토큰까지의 시간, 작업당 종단 간 소요 시간)를 측정하며, 가격은 엔드포인트별로 추적됩니다. 회사는 제공업체가 결과, 방법론 변경, 등재에 대해 비용을 지불할 수 없다고 밝힙니다. 로그인 상태에서 사용할 수 있는 도구로는 Model Recommender, 자체 프롬프트로 모델을 비교하는 MicroEvals, 자체 작업을 반복 가능한 벤치마크로 전환해 품질을 작업당 비용과 비교하는 Optima가 있습니다. 데이터는 REST API와 MCP 서버로도 제공됩니다.
