Skip to content
Build

Empower Your AI Journey with Evidently AI

Evidently — это фреймворк для Python с открытым исходным кодом (Apache 2.0) для оценки, тестирования и мониторинга LLM-приложений, RAG-систем, AI-агентов и ML-моделей с возможностью самостоятельного развёртывания панели мониторинга. Облачная версия Evidently Cloud закрыта.

Бесплатно · API

Вердикт Stork: Evidently AI

Evidently — надёжная бесплатная библиотека с открытым исходным кодом для оценки и отслеживания дрейфа для команд, работающих с Python, но поскольку Evidently Cloud закрыт, теперь её необходимо самостоятельно развёртывать и поддерживать.

Evidently AI reviewed by Stork AI · stork.ai/ru/evidently-ai

720p. В 480p вдвое дешевле. Минимум $0.05 за видео.
Десять минут говорящего видео стоят $2.
Мы запускаем открытые модели на собственных GPU. Когда наша себестоимость минуты падает, падает и цена.
Оживить фотоРазработчикам: есть API

Что делает Evidently

Evidently (evidentlyai.com) — это фреймворк с открытым исходным кодом для тестирования систем ИИ. Библиотека Evidently для Python выполняет оценки с помощью более 100 встроенных метрик и формирует отчёты (Reports) и наборы тестов (Test Suites), которые можно просматривать в Python, экспортировать в JSON или HTML либо запускать в CI-конвейере. Для LLM-продуктов она проверяет, в частности, соблюдение инструкций и формата, галлюцинации и фактологичность, персональные данные (PII), качество извлечения и релевантность контекста, тональность, токсичность и стиль, а также пользовательские оценки, сочетающие правила, классификаторы и LLM-судей. Для прогнозных ML-моделей отслеживаются дрейф данных, качество данных и качество работы модели. В новых версиях добавлены генерация синтетических тестовых данных и автоматическая оптимизация промптов для LLM-судей.

Установка выполняется командой pip install evidently (или evidently[llm] для оценок LLM) либо через conda. Дополнительная библиотека Tracely на основе OpenTelemetry фиксирует входные и выходные данные работающего LLM-приложения. Evidently Platform с открытым исходным кодом — это самостоятельно развёртываемый UI-сервис (evidently ui), который хранит снимки оценок, трассировки и наборы данных в файловой системе, в базе данных SQL, например SQLite или Postgres, либо в S3-совместимом хранилище и отображает их на панели мониторинга. В документации Evidently теперь указано, что Evidently Cloud больше не доступен как SaaS-продукт; страница с ценами на сайте перенаправляет на главную страницу.

Цены на Evidently

PlanСтоимость в месяцЧто входит
Evidently library (open source)$0Библиотека для Python, более 100 метрик, Reports и Test Suites, Apache 2.0
Evidently Platform (open source, self-hosted)$0Трассировка, просмотр трассировок, панель мониторинга, управление наборами данных, синтетические данные, оптимизация промптов, доступ по API

Облачная версия Evidently Cloud больше не предлагается. Всё, что Evidently сейчас предлагает публично, бесплатно по лицензии Apache 2.0. Вы платите только за вычислительные ресурсы и хранилище, на которых запускаете продукт, и за любой LLM API, который используете в роли судьи. В документации Evidently перечислены функции, которых нет в платформе с открытым исходным кодом: оценки без кода, генерация данных и панели мониторинга, сравнение «бок о бок», оповещения, запланированные задачи, аутентификация и ролевое управление доступом. Они относились к коммерческим редакциям Cloud и self-hosted Enterprise; поскольку Cloud закрыт, а страницы с ценами в сети нет, Evidently не публикует актуальную цену коммерческой редакции. Цены не опубликованы; если вам нужны эти функции, свяжитесь с отделом продаж через форму обратной связи.

Поддержка: пользователям версии с открытым исходным кодом доступны документация, сообщество в Discord и обсуждения на GitHub (issues); Evidently сообщает, что не предоставляет поддержку по электронной почте для версии с открытым исходным кодом.

Цены проверены на странице с ценами вендора 10 ноября 2026 года (https://www.evidentlyai.com/pricing теперь перенаправляет на главную страницу); варианты развёртывания приведены по странице Evidently о версиях open source и Cloud.

Основные возможности

Что указано на сайте и в документации Evidently:

  • Более 100 встроенных метрик, комбинируемые правила, классификаторы и оценки в формате LLM-as-a-judge
  • Проверки LLM на галлюцинации, персональные данные (PII), релевантность извлечения, токсичность, тон и формат
  • Отчёты о дрейфе данных, качестве данных и качестве работы прогнозных ML-моделей
  • Декларативные Test Suites для запуска оценок как проверок «пройдено/не пройдено» в CI-конвейерах
  • Генерация синтетических тестовых данных, включая состязательные входные данные
  • Автоматическая оптимизация промптов для LLM-судей
  • Трассировка работающих LLM-приложений на основе OpenTelemetry с помощью библиотеки Tracely
  • Самостоятельно развёртываемая панель мониторинга с хранением в файлах, SQL или S3-совместимом хранилище

Для кого Evidently подходит лучше всего

Evidently подходит командам, работающим с Python, которым нужны бесплатные самостоятельно развёртываемые инструменты оценки и мониторинга и которые готовы запускать и поддерживать их своими силами. Он необычен тем, что объединяет в одной библиотеке мониторинг классического ML (дрейф данных в табличных моделях) и оценку LLM, что полезно командам, использующим и то и другое. Его Reports и Test Suites легко встраиваются в ноутбуки и CI-задачи.

Если вам нужен управляемый облачный продукт, Evidently Cloud больше не существует: обратите внимание на Langfuse (открытый исходный код с облачной версией) или на LangSmith, если вы разрабатываете на LangChain. Для трассировки и оценок с открытым исходным кодом и удобным интерфейсом попробуйте Arize Phoenix. Для фреймворка тестирования LLM в стиле pytest с облачной платформой сравните Confident AI, а для метрик, специфичных для RAG, — Ragas.

Что говорят пользователи

В репозитории Evidently на GitHub 10 ноября 2026 года было около 8.000 звёзд, а последний релиз, v0.7.23, вышел 11 сентября 2026 года. В редакционном обзоре на aicoolies (последняя проверка — 31 марта 2026 года) Evidently назван полноценным фреймворком мониторинга ИИ с открытым исходным кодом для задач как ML, так и LLM, но отмечено, что подход с упором на Python и ML-наследием может показаться менее интуитивным командам, пришедшим из чистой LLM-среды; в этом обзоре по-прежнему перечислены тарифы облачной версии, которые больше не продаются. На Product Hunt два рецензента хвалят обнаружение дрейфа и визуализации. На сайте Evidently размещены отзывы ML-команд таких компаний, как DeepL, Wise и Realtor.com, в основном о мониторинге дрейфа данных. Независимых отзывов на G2 или Reddit найти не удалось.

Плюсы

  • Полностью открытый исходный код по лицензии Apache 2.0, бесплатно для коммерческого использования
  • Оценка LLM и дрейф данных в классическом ML в одной библиотеке
  • Более 100 встроенных метрик и пользовательские оценки с LLM в роли судьи
  • Самостоятельно развёртываемая панель мониторинга хранит данные оценок в вашем собственном хранилище
  • Регулярные релизы: v0.7.23 вышла в сентябре 2026 года

Минусы

  • Облачная версия Evidently Cloud закрыта, поэтому развёртывать платформу необходимо самостоятельно
  • В версии с открытым исходным кодом нет оповещений, запланированных задач, авторизации и управления доступом
  • Для пользователей версии с открытым исходным кодом нет поддержки по электронной почте; доступны только Discord и GitHub
  • Ориентирован на Python; по мнению одного из рецензентов, командам, работающим только с LLM, может быть проще быстро начать работу с другими инструментами

Частые вопросы

Бесплатен ли Evidently AI?

Да. Библиотека Evidently для Python и самостоятельно развёртываемая Evidently Platform имеют открытый исходный код по лицензии Apache 2.0 и бесплатны в использовании. Вы оплачиваете только собственную инфраструктуру и любой LLM API, который используете для оценок с LLM в роли судьи.

Доступен ли Evidently Cloud по-прежнему?

Нет. В документации Evidently указано, что Evidently Cloud больше не доступен как SaaS-продукт, а страница с ценами теперь перенаправляет на главную страницу. Вы можете самостоятельно развернуть Evidently Platform с открытым исходным кодом или использовать библиотеку вместе с другими инструментами. Проверено 10 ноября 2026 года.

Что можно оценивать с помощью Evidently?

Системы на основе LLM, такие как чат-боты, RAG-приложения, AI-агенты и копилоты (галлюцинации, персональные данные (PII), релевантность извлечения, токсичность, формат и пользовательские проверки с LLM в роли судьи), а также прогнозные ML-модели (дрейф данных, качество данных и качество работы модели) с помощью более 100 встроенных метрик.

Как установить Evidently?

Выполните pip install evidently или pip install evidently[llm] для оценок LLM; пакет также доступен в conda-forge. Для трассировки работающего LLM-приложения установите дополнительный пакет командой pip install tracely. Запустите самостоятельно развёртываемую панель мониторинга командой evidently ui.

Каких функций нет в Evidently с открытым исходным кодом?

В документации Evidently к функциям, доступным только в коммерческих версиях, отнесены оценки без кода, генерация данных и панели мониторинга, сравнение «бок о бок», оповещения, запланированные задачи, аутентификация и ролевое управление доступом. В платформе с открытым исходным кодом есть трассировка, оценки, панели мониторинга, управление наборами данных, синтетические данные и оптимизация промптов.

Может ли Evidently использовать Claude или Gemini в роли LLM-судьи?

В списке изменений Evidently сказано, что в версии 0.6.2 расширена поддержка litellm, поэтому оценки на основе LLM могут использовать таких провайдеров, как Gemini и Anthropic, в дополнение к OpenAI.

Сравнить альтернативы

Evidently AI

Бесплатно · API

Нравится статья? Получайте такие каждое утро на почту.

одно письмо в день · отписка в два клика · без сторонних трекеров