Что делает Evidently
Evidently (evidentlyai.com) — это фреймворк с открытым исходным кодом для тестирования систем ИИ. Библиотека Evidently для Python выполняет оценки с помощью более 100 встроенных метрик и формирует отчёты (Reports) и наборы тестов (Test Suites), которые можно просматривать в Python, экспортировать в JSON или HTML либо запускать в CI-конвейере. Для LLM-продуктов она проверяет, в частности, соблюдение инструкций и формата, галлюцинации и фактологичность, персональные данные (PII), качество извлечения и релевантность контекста, тональность, токсичность и стиль, а также пользовательские оценки, сочетающие правила, классификаторы и LLM-судей. Для прогнозных ML-моделей отслеживаются дрейф данных, качество данных и качество работы модели. В новых версиях добавлены генерация синтетических тестовых данных и автоматическая оптимизация промптов для LLM-судей.
Установка выполняется командой pip install evidently (или evidently[llm] для оценок LLM) либо через conda. Дополнительная библиотека Tracely на основе OpenTelemetry фиксирует входные и выходные данные работающего LLM-приложения. Evidently Platform с открытым исходным кодом — это самостоятельно развёртываемый UI-сервис (evidently ui), который хранит снимки оценок, трассировки и наборы данных в файловой системе, в базе данных SQL, например SQLite или Postgres, либо в S3-совместимом хранилище и отображает их на панели мониторинга. В документации Evidently теперь указано, что Evidently Cloud больше не доступен как SaaS-продукт; страница с ценами на сайте перенаправляет на главную страницу.
