O que o Evidently faz
O Evidently (evidentlyai.com) é um framework de código aberto para testar sistemas de IA. A biblioteca Python Evidently executa avaliações com mais de 100 métricas integradas e gera Reports e Test Suites que você pode visualizar em Python, exportar para JSON ou HTML, ou executar dentro de um pipeline de CI. Para produtos de LLM, ela verifica itens como aderência a diretrizes e formato, alucinações e factualidade, PII, qualidade de recuperação e relevância de contexto, sentimento, toxicidade e tom, além de avaliações personalizadas que combinam regras, classificadores e LLMs como juízes. Para modelos de ML preditivos, ela acompanha data drift, qualidade de dados e desempenho do modelo. Versões mais recentes adicionam geração de dados de teste sintéticos e otimização automatizada de prompts para LLMs juízes.
Você a instala com pip install evidently (ou evidently[llm] para avaliações de LLM) ou com conda. A biblioteca irmã Tracely, baseada em OpenTelemetry, captura entradas e saídas de uma aplicação LLM em produção. A Evidently Platform de código aberto é um serviço de interface auto-hospedado (evidently ui) que armazena snapshots de avaliação, traces e datasets em um sistema de arquivos, em um banco de dados SQL como SQLite ou Postgres, ou em armazenamento compatível com S3, e os exibe em um painel de monitoramento. A documentação do Evidently agora informa que o Evidently Cloud não está mais disponível como produto SaaS; a página de preços do site redireciona para a página inicial.
