Чем занимается Artificial Analysis
Artificial Analysis (artificialanalysis.ai) проводит собственные бенчмарки ИИ-моделей, облачных API, на которых они размещены, и чипов, на которых они работают, а результаты публикует в виде открытых рейтингов и графиков. На странице About указано: протестировано более 500 моделей, более 100 провайдеров инференса и более 1.000 эндпоинтов. Главный показатель — Artificial Analysis Intelligence Index, композитная оценка. Версия 5, анонсированная 27 октября 2026 года, придаёт знаниям для работы, программированию, науке и общим знаниям вес по 25% каждому, добавляет FrontierCode 2.0 от Cognition и Terminal-Bench-Science и сообщает, что 60% индекса теперь основано на закрытых тестовых наборах или отложенных ответах. Помимо языковых моделей сервис охватывает кодинг-агентов, генерацию изображений по тексту, видео, синтез речи, распознавание речи и музыку, включая сообщественные арены для изображений, видео и речи.
Бенчмарки производительности измеряют то, что клиенты видят от начала до конца (скорость вывода, время до первого токена, сквозное время на задачу), а не пиковые значения, достижимые на чипе; цены отслеживаются по каждому эндпоинту. Компания заявляет, что провайдеры не могут платить за результаты, изменения методологии или размещение. Инструменты для авторизованных пользователей включают Model Recommender, MicroEvals для сравнения моделей на ваших собственных промптах и Optima для превращения ваших задач в повторяемый бенчмарк, сравнивающий качество и стоимость одной задачи. Данные также доступны через REST API и MCP-сервер.
