Skip to content
Build

Evidently AI で AI 活用を後押し

Evidently は、LLM アプリ、RAG システム、AI エージェント、ML モデルを評価、テスト、監視するためのオープンソース(Apache 2.0)の Python フレームワークで、セルフホスト可能なダッシュボードを備えています。ホスト型の Evidently Cloud は終了しました。

無料 · API

Evidently AIに対するStorkの評価

Evidently は、Python チームにとって堅実な無料のオープンソース評価・ドリフトライブラリですが、Evidently Cloud が終了したため、ホスティングと保守はご自身で行う必要があります。

Evidently AI reviewed by Stork AI · stork.ai/ja/evidently-ai

720pの料金。480pは半額。動画1本の最低料金は$0.05。
話す動画10分で$2。
オープンモデルを自社のGPUで動かしています。1分あたりのコストが下がれば、料金も下げます。
写真を話させる開発者の方へ:APIもあります

Evidently の機能

Evidently(evidentlyai.com)は、AI システムをテストするためのオープンソースフレームワークです。Evidently Python ライブラリは 100+ の組み込みメトリクスで評価を実行し、Report と Test Suite を生成します。これらは Python 上で表示したり、JSON または HTML にエクスポートしたり、CI パイプライン内で実行したりできます。LLM 製品については、ガイドラインやフォーマットへの準拠、ハルシネーションと事実性、PII、検索品質とコンテキストの関連性、センチメント、有害性とトーンなどを確認でき、ルール、分類器、LLM judge を組み合わせたカスタム評価も可能です。予測 ML モデルについては、データドリフト、データ品質、モデル性能を追跡します。新しいリリースでは、合成テストデータの生成と、LLM judge 向けの自動プロンプト最適化が追加されています。

インストールは pip install evidently(LLM 評価の場合は evidently[llm])または conda で行います。OpenTelemetry をベースとする姉妹ライブラリの Tracely は、稼働中の LLM アプリの入力と出力を取得します。オープンソースの Evidently Platform はセルフホスト型の UI サービス(evidently ui)で、評価スナップショット、トレース、データセットを、ファイルシステム、SQLite や Postgres などの SQL データベース、または S3 互換ストレージに保存し、監視ダッシュボードに表示します。Evidently のドキュメントには現在、Evidently Cloud は SaaS 製品としては提供されなくなったと記載されており、ウェブサイトの料金ページはトップページにリダイレクトされます。

Evidently の料金

プラン月額料金内容
Evidently ライブラリ(オープンソース)$0Python ライブラリ、100+ のメトリクス、Report と Test Suite、Apache 2.0
Evidently Platform(オープンソース、セルフホスト)$0トレーシング、トレースビューア、監視ダッシュボード、データセット管理、合成データ、プロンプト最適化、API アクセス

ホスト型の Evidently Cloud は提供されていません。Evidently が現在公開しているものはすべて Apache 2.0 のもとで無料です。費用がかかるのは、運用に使用するコンピュートとストレージ、および judge として使用する LLM API のみです。Evidently のドキュメントでは、オープンソースのプラットフォームに含まれない機能として、ノーコード評価、データ生成とダッシュボード、並べての比較、アラート、スケジュールタスク、認証、ロールベースのアクセス制御が挙げられています。これらは商用の Cloud 版とセルフホストの Enterprise 版に含まれていました。Cloud が終了し、料金ページもオンラインにないため、Evidently は商用版の現行価格を公開していません。料金は非公開です。これらの機能が必要な場合は、お問い合わせフォームから営業担当にお問い合わせください。

サポート:オープンソース利用者にはドキュメント、Discord コミュニティ、GitHub issues が提供されます。Evidently は、オープンソースのメールサポートは提供していないとしています。

料金はベンダーの料金ページで2026年11月10日に確認しました(https://www.evidentlyai.com/pricing は現在トップページにリダイレクトされます)。提供形態は Evidently のオープンソースと Cloud の比較ページに基づきます。

主な機能

Evidently のウェブサイトとドキュメントに記載されている内容:

  • 100+ の組み込みメトリクス、組み合わせ可能なルール、分類器、LLM-as-a-judge 評価
  • ハルシネーション、PII、検索の関連性、有害性、トーン、フォーマットに対する LLM チェック
  • 予測 ML モデル向けのデータドリフト、データ品質、モデル性能のレポート
  • CI パイプラインで評価を合否チェックとして実行できる宣言型の Test Suite
  • 敵対的な入力を含む合成テストデータの生成
  • LLM judge 向けの自動プロンプト最適化
  • Tracely ライブラリによる、稼働中の LLM アプリの OpenTelemetry ベースのトレーシング
  • ファイル、SQL、S3 互換ストレージ上で動作するセルフホスト型の監視ダッシュボード

Evidently が最適な利用者

Evidently は、無料のセルフホスト型の評価・監視を求め、自分たちで運用・保守することに抵抗のない Python チームに適しています。従来型の ML 監視(表形式モデルのデータドリフト)と LLM 評価の両方を 1 つのライブラリでカバーしている点は珍しく、両方を運用しているチームに役立ちます。Report と Test Suite は、ノートブックや CI ジョブに容易に組み込めます。

マネージドのホスト型製品をお求めの場合、Evidently Cloud は終了しています。Langfuse(ホスト型クラウドを備えたオープンソース)をご検討ください。LangChain で構築している場合は LangSmith も候補です。優れた UI を備えたオープンソースのトレーシングと評価には Arize Phoenix をお試しください。ホスト型プラットフォームを備えた pytest スタイルの LLM テストフレームワークとしては Confident AI を、RAG 特化のメトリクスについては Ragas をご比較ください。

ユーザーの声

Evidently の GitHub リポジトリは、2026年11月10日時点で約 8,000 スターで、最新リリースは2026年9月11日の v0.7.23 でした。aicoolies の編集部レビュー(最終確認日は2026年3月31日)は、ML と LLM の両方のワークロードに対応する完成度の高いオープンソースの AI 監視フレームワークと評価していますが、Python 中心で ML を出自とするアプローチは、純粋に LLM を扱ってきたチームには直感的でない可能性があると指摘しています。なお、このレビューには現在は販売されていないホスト型 Cloud プランが記載されたままです。Product Hunt では、2 人のレビューアーがドリフト検出と可視化を高く評価しています。Evidently 自身のサイトには、DeepL、Wise、Realtor.com などの企業の ML チームによる、主にデータドリフト監視に関する推薦コメントが掲載されています。G2 や Reddit での独立したレビューは見つかりませんでした。

長所

  • Apache 2.0 のもとで完全なオープンソースであり、商用利用も無料です
  • LLM 評価と従来型 ML のデータドリフトを 1 つのライブラリで扱えます
  • 100+ の組み込みメトリクスに加え、カスタムの LLM-judge 評価を利用できます
  • セルフホスト型ダッシュボードにより、評価データを自社のストレージに保管できます
  • 活発にリリースされており、2026年9月に v0.7.23 が公開されました

短所

  • ホスト型の Evidently Cloud は提供終了となったため、自分でセルフホストして運用する必要があります
  • オープンソース版にはアラート、スケジュールタスク、ログイン、アクセス制御がありません
  • オープンソース利用者向けのメールサポートはなく、Discord と GitHub のみです
  • Python 中心の設計です。レビューアーによると、LLM のみのチームは他のツールのほうが早く始められる可能性があります

よくある質問

Evidently AI は無料ですか?

はい。Evidently の Python ライブラリとセルフホスト型の Evidently Platform は、Apache 2.0 のもとでオープンソースとして公開されており、無料で利用できます。ご自身のインフラ費用と、LLM-judge 評価に使用する LLM API の費用はご負担いただきます。

Evidently Cloud はまだ利用できますか?

いいえ。Evidently のドキュメントによると、Evidently Cloud は SaaS 製品としては提供されなくなり、料金ページもトップページにリダイレクトされるようになりました。オープンソースの Evidently Platform をセルフホストするか、ライブラリを他のツールと組み合わせて利用できます。2026年11月10日時点の確認内容です。

Evidently では何を評価できますか?

チャットボット、RAG アプリ、AI エージェント、コパイロットなどの LLM を活用したシステム(ハルシネーション、PII、検索の関連性、有害性、フォーマット、カスタムの LLM-judge チェック)と、予測 ML モデル(データドリフト、データ品質、モデル性能)を、100+ の組み込みメトリクスで評価できます。

Evidently はどのようにインストールしますか?

pip install evidently を実行します。LLM 評価を行う場合は pip install evidently[llm] を実行してください。conda-forge でも提供されています。稼働中の LLM アプリをトレースするには、pip install tracely で姉妹パッケージをインストールします。セルフホスト型のダッシュボードは evidently ui で起動します。

オープンソース版の Evidently にない機能は何ですか?

Evidently のドキュメントでは、ノーコード評価、データ生成とダッシュボード、並べての比較、アラート、スケジュールタスク、認証、ロールベースのアクセス制御が商用版限定の機能として挙げられています。オープンソースのプラットフォームには、トレーシング、評価、ダッシュボード、データセット管理、合成データ、プロンプト最適化があります。

Evidently は Claude や Gemini を LLM judge として使用できますか?

Evidently の変更履歴によると、バージョン 0.6.2 で litellm のサポートが拡張され、OpenAI に加えて Gemini や Anthropic などのプロバイダーを LLM ベースの評価に使用できるようになりました。

代替製品を比較

Evidently AI

無料 · API

この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。

1日1通 · 2クリックで解除 · サードパーティのトラッキングなし