Was Evidently leistet
Evidently (evidentlyai.com) ist ein Open-Source-Framework zum Testen von KI-Systemen. Die Evidently-Python-Bibliothek führt Evaluierungen mit über 100 integrierten Metriken aus und erzeugt Reports und Test Suites, die Sie in Python ansehen, als JSON oder HTML exportieren oder innerhalb einer CI-Pipeline ausführen können. Für LLM-Produkte prüft sie Aspekte wie die Einhaltung von Richtlinien und Format, Halluzinationen und Faktentreue, PII, Retrieval-Qualität und Kontextrelevanz, Stimmung, Toxizität und Tonalität sowie benutzerdefinierte Evaluierungen, die Regeln, Klassifikatoren und LLM-Judges kombinieren. Für prädiktive ML-Modelle erfasst sie Data Drift, Datenqualität und Modellleistung. Neuere Versionen ergänzen die Generierung synthetischer Testdaten und die automatisierte Prompt-Optimierung für LLM-Judges.
Die Installation erfolgt mit pip install evidently (oder evidently[llm] für LLM-Evaluierungen) bzw. über conda. Die Schwesterbibliothek Tracely, die auf OpenTelemetry basiert, erfasst Ein- und Ausgaben einer laufenden LLM-App. Die Open-Source-Plattform Evidently Platform ist ein selbst gehosteter UI-Dienst (evidently ui), der Evaluierungs-Snapshots, Traces und Datasets in einem Dateisystem, einer SQL-Datenbank wie SQLite oder Postgres oder in S3-kompatiblem Speicher ablegt und in einem Monitoring-Dashboard darstellt. In der Dokumentation von Evidently heißt es inzwischen, dass Evidently Cloud nicht mehr als SaaS-Produkt verfügbar ist; die Preisseite der Website leitet auf die Startseite weiter.
