Evidently の機能
Evidently(evidentlyai.com)は、AI システムをテストするためのオープンソースフレームワークです。Evidently Python ライブラリは 100+ の組み込みメトリクスで評価を実行し、Report と Test Suite を生成します。これらは Python 上で表示したり、JSON または HTML にエクスポートしたり、CI パイプライン内で実行したりできます。LLM 製品については、ガイドラインやフォーマットへの準拠、ハルシネーションと事実性、PII、検索品質とコンテキストの関連性、センチメント、有害性とトーンなどを確認でき、ルール、分類器、LLM judge を組み合わせたカスタム評価も可能です。予測 ML モデルについては、データドリフト、データ品質、モデル性能を追跡します。新しいリリースでは、合成テストデータの生成と、LLM judge 向けの自動プロンプト最適化が追加されています。
インストールは pip install evidently(LLM 評価の場合は evidently[llm])または conda で行います。OpenTelemetry をベースとする姉妹ライブラリの Tracely は、稼働中の LLM アプリの入力と出力を取得します。オープンソースの Evidently Platform はセルフホスト型の UI サービス(evidently ui)で、評価スナップショット、トレース、データセットを、ファイルシステム、SQLite や Postgres などの SQL データベース、または S3 互換ストレージに保存し、監視ダッシュボードに表示します。Evidently のドキュメントには現在、Evidently Cloud は SaaS 製品としては提供されなくなったと記載されており、ウェブサイトの料金ページはトップページにリダイレクトされます。
