O que o Artificial Analysis faz
O Artificial Analysis (artificialanalysis.ai) executa seus próprios benchmarks de modelos de IA, das APIs na nuvem que os hospedam e dos chips em que são executados, e publica os resultados como rankings e gráficos públicos. Sua página About lista mais de 500 modelos avaliados, mais de 100 provedores de inferência e mais de 1.000 endpoints. O número principal é o Artificial Analysis Intelligence Index, uma pontuação composta. A versão 5, anunciada em 27 de outubro de 2026, atribui peso de 25% cada a trabalho de conhecimento, programação, ciência e conhecimento geral, adiciona o FrontierCode 2.0 e o Terminal-Bench-Science da Cognition, e afirma que 60% do índice agora se apoia em conjuntos de teste privados ou respostas reservadas. Além dos modelos de linguagem, abrange agentes de programação, texto para imagem, vídeo, texto para fala, fala para texto e música, incluindo arenas comunitárias para imagem, vídeo e fala.
Os benchmarks de desempenho medem o que os clientes percebem de ponta a ponta (velocidade de saída, tempo até o primeiro token, tempo total por tarefa), e não o pico que um chip pode atingir, e os preços são acompanhados por endpoint. A empresa afirma que os provedores não podem pagar por resultados, alterações de metodologia ou presença no site. As ferramentas para usuários com login incluem um Model Recommender, MicroEvals para comparar modelos com seus próprios prompts e Optima para transformar suas próprias tarefas em um benchmark repetível que compara qualidade e custo por tarefa. Os dados também estão disponíveis por meio de uma API REST e de um servidor MCP.
