Was Artificial Analysis macht
Artificial Analysis (artificialanalysis.ai) führt eigene Benchmarks für KI-Modelle, die Cloud-APIs, die sie hosten, und die Chips, auf denen sie laufen, durch und veröffentlicht die Ergebnisse als öffentliche Leaderboards und Diagramme. Auf der About-Seite werden über 500 getestete Modelle, über 100 Inferenzanbieter und über 1.000 Endpunkte genannt. Die zentrale Kennzahl ist der Artificial Analysis Intelligence Index, ein zusammengesetzter Wert. Version 5, angekündigt am 27. Oktober 2026, gewichtet Wissensarbeit, Coding, Wissenschaft und Allgemeinwissen mit jeweils 25 %, ergänzt Cognitions FrontierCode 2.0 und Terminal-Bench-Science und gibt an, dass 60 % des Index nun auf privaten Testsätzen oder zurückgehaltenen Antworten beruhen. Neben Sprachmodellen deckt die Seite Coding-Agenten, Text-to-Image, Video, Text-to-Speech, Speech-to-Text und Musik ab, einschließlich Community-Arenen für Bild, Video und Sprache.
Die Performance-Benchmarks messen, was Kunden durchgängig erleben (Ausgabegeschwindigkeit, Zeit bis zum ersten Token, Gesamtzeit pro Aufgabe), und nicht die Spitzenleistung, die ein Chip erreichen kann; Preise werden pro Endpunkt erfasst. Das Unternehmen gibt an, dass Anbieter weder für Ergebnisse, Änderungen der Methodik noch für die Aufnahme bezahlen können. Zu den Tools für angemeldete Nutzer gehören ein Model Recommender, MicroEvals zum Vergleich von Modellen mit eigenen Prompts und Optima, um eigene Aufgaben in einen wiederholbaren Benchmark umzuwandeln, der die Qualität den Kosten pro Aufgabe gegenüberstellt. Die Daten sind außerdem über eine REST-API und einen MCP-Server verfügbar.
