Ce que fait Evidently
Evidently (evidentlyai.com) est un framework open source pour tester les systèmes d'IA. La bibliothèque Python Evidently exécute des évaluations avec plus de 100 métriques intégrées et produit des Reports et des Test Suites que vous pouvez consulter dans Python, exporter en JSON ou en HTML, ou exécuter dans un pipeline CI. Pour les produits reposant sur des LLM, elle vérifie notamment le respect des consignes et du format, les hallucinations et la factualité, les données personnelles (PII), la qualité de la recherche d'information et la pertinence du contexte, le sentiment, la toxicité et le ton, ainsi que des évaluations personnalisées combinant règles, classifieurs et LLM-juges. Pour les modèles de ML prédictifs, elle suit la dérive des données, la qualité des données et la performance des modèles. Les versions récentes ajoutent la génération de données de test synthétiques et l'optimisation automatisée de prompts pour les LLM-juges.
Vous l'installez avec pip install evidently (ou evidently[llm] pour les évaluations de LLM) ou avec conda. La bibliothèque associée Tracely, basée sur OpenTelemetry, capture les entrées et les sorties d'une application LLM en production. L'Evidently Platform open source est un service d'interface auto-hébergé (evidently ui) qui stocke les instantanés d'évaluation, les traces et les jeux de données sur un système de fichiers, une base de données SQL telle que SQLite ou Postgres, ou un stockage compatible S3, et les présente dans un tableau de bord de supervision. La documentation d'Evidently indique désormais qu'Evidently Cloud n'est plus disponible en tant que produit SaaS ; la page de tarifs du site redirige vers la page d'accueil.
