Ce que fait Artificial Analysis
Artificial Analysis (artificialanalysis.ai) réalise ses propres benchmarks sur les modèles d'IA, les API cloud qui les hébergent et les puces sur lesquelles ils fonctionnent, et publie les résultats sous forme de classements et de graphiques publics. Sa page À propos mentionne plus de 500 modèles évalués, plus de 100 fournisseurs d'inférence et plus de 1.000 points de terminaison. L'indicateur phare est l'Artificial Analysis Intelligence Index, un score composite. La version 5, annoncée le 27 octobre 2026, pondère à 25 % chacun le travail de connaissance, le codage, les sciences et les connaissances générales, ajoute FrontierCode 2.0 de Cognition et Terminal-Bench-Science, et indique que 60 % de l'indice repose désormais sur des jeux de test privés ou des réponses réservées. Au-delà des modèles de langage, il couvre les agents de codage, le texte-vers-image, la vidéo, la synthèse vocale, la reconnaissance vocale et la musique, y compris des arènes communautaires pour l'image, la vidéo et la parole.
Les benchmarks de performance mesurent ce que voient les clients de bout en bout (vitesse de sortie, délai avant le premier token, temps de bout en bout par tâche) plutôt que le pic qu'une puce peut atteindre, et les prix sont suivis par point de terminaison. L'entreprise affirme que les fournisseurs ne peuvent pas payer pour obtenir des résultats, des changements de méthodologie ou une présence sur le site. Les outils réservés aux utilisateurs connectés comprennent un Model Recommender, des MicroEvals pour comparer des modèles sur vos propres prompts, et Optima pour transformer vos propres tâches en un benchmark reproductible qui compare la qualité au coût par tâche. Les données sont également accessibles via une API REST et un serveur MCP.
