Skip to content
Build

Evidently AI와 함께 AI 여정에 힘을 더하세요

Evidently는 LLM 앱, RAG 시스템, AI 에이전트, ML 모델을 평가, 테스트, 모니터링하기 위한 오픈소스(Apache 2.0) Python 프레임워크이며, 셀프 호스팅이 가능한 대시보드를 제공합니다. 호스팅형 Evidently Cloud는 종료되었습니다.

무료 · API

Evidently AI에 대한 Stork의 평가

Evidently는 Python 팀을 위한 견실한 무료 오픈소스 평가 및 드리프트 라이브러리이지만, Evidently Cloud가 종료되어 이제 직접 호스팅하고 유지 관리해야 합니다.

Evidently AI reviewed by Stork AI · stork.ai/ko/evidently-ai

720p 기준. 480p는 절반. 영상 한 편 최소 $0.05.
말하는 영상 10분에 $2.
오픈 모델을 자체 GPU에서 운영합니다. 분당 비용이 내려가면 가격도 내립니다.
사진이 말하게 하기개발자라면: API도 있습니다

Evidently의 기능

Evidently(evidentlyai.com)는 AI 시스템을 테스트하기 위한 오픈소스 프레임워크입니다. Evidently Python 라이브러리는 100개 이상의 기본 제공 지표로 평가를 실행하고, Python에서 확인하거나 JSON 또는 HTML로 내보내거나 CI 파이프라인 안에서 실행할 수 있는 Reports와 Test Suites를 생성합니다. LLM 제품의 경우 가이드라인 및 형식 준수, 환각과 사실성, PII, 검색 품질과 컨텍스트 관련성, 감성, 유해성과 어조 등을 점검하며, 규칙, 분류기, LLM 심사자를 결합한 사용자 정의 평가도 지원합니다. 예측형 ML 모델의 경우 데이터 드리프트, 데이터 품질, 모델 성능을 추적합니다. 최신 릴리스에서는 합성 테스트 데이터 생성과 LLM 심사자를 위한 자동 프롬프트 최적화가 추가되었습니다.

설치는 pip install evidently(LLM 평가에는 evidently[llm]) 또는 conda로 할 수 있습니다. OpenTelemetry 기반의 자매 라이브러리 Tracely는 운영 중인 LLM 앱의 입력과 출력을 수집합니다. 오픈소스 Evidently Platform은 셀프 호스팅 UI 서비스(evidently ui)로, 평가 스냅샷, 트레이스, 데이터셋을 파일 시스템, SQLite나 Postgres 같은 SQL 데이터베이스 또는 S3 호환 저장소에 보관하고 모니터링 대시보드에 표시합니다. Evidently 문서에는 이제 Evidently Cloud는 더 이상 SaaS 제품으로 제공되지 않는다고 명시되어 있으며, 웹사이트의 요금 페이지는 홈페이지로 리디렉션됩니다.

Evidently 요금

플랜월 요금제공 내용
Evidently library (오픈소스)$0Python 라이브러리, 100개 이상의 지표, Reports 및 Test Suites, Apache 2.0
Evidently Platform (오픈소스, 셀프 호스팅)$0트레이싱, 트레이스 뷰어, 모니터링 대시보드, 데이터셋 관리, 합성 데이터, 프롬프트 최적화, API 접근

호스팅형 Evidently Cloud는 더 이상 제공되지 않습니다. Evidently가 현재 공개적으로 제공하는 모든 것은 Apache 2.0에 따라 무료입니다. 실행에 사용하는 컴퓨팅 및 저장소 비용과 심사자로 사용하는 LLM API 비용만 부담하면 됩니다. Evidently 문서에 따르면 다음 기능은 오픈소스 플랫폼에 포함되지 않습니다: 노코드 평가, 데이터 생성 및 대시보드, 나란히 비교, 알림, 예약 작업, 인증 및 역할 기반 접근 제어. 이 기능들은 상용 Cloud 및 셀프 호스팅 Enterprise 에디션에 속해 있었으며, Cloud가 종료되고 온라인 요금 페이지도 없어 Evidently는 상용 에디션의 현재 가격을 공개하지 않습니다. 가격은 공개되지 않았으므로, 해당 기능이 필요하면 문의 양식을 통해 영업팀에 문의하세요.

지원: 오픈소스 사용자는 문서, Discord 커뮤니티, GitHub 이슈를 이용할 수 있으며, Evidently는 오픈소스에 대한 이메일 지원을 제공하지 않는다고 밝힙니다.

가격은 2026년 11월 10일에 공급업체의 요금 페이지에서 확인했습니다(https://www.evidentlyai.com/pricing 은 현재 홈페이지로 리디렉션됩니다). 배포 옵션은 Evidently의 오픈소스 vs. Cloud 페이지를 참고했습니다.

주요 기능

Evidently 웹사이트와 문서에 나와 있는 내용은 다음과 같습니다.

  • 100개 이상의 기본 제공 지표, 조합 가능한 규칙, 분류기, LLM-as-a-judge 평가
  • 환각, PII, 검색 관련성, 유해성, 어조, 형식에 대한 LLM 검사
  • 예측형 ML 모델을 위한 데이터 드리프트, 데이터 품질, 모델 성능 리포트
  • CI 파이프라인에서 평가를 통과/실패 검사로 실행하는 선언형 Test Suites
  • 적대적 입력을 포함한 합성 테스트 데이터 생성
  • LLM 심사자를 위한 자동 프롬프트 최적화
  • Tracely 라이브러리를 통한 운영 중인 LLM 앱의 OpenTelemetry 기반 트레이싱
  • 파일, SQL 또는 S3 호환 저장소 기반의 셀프 호스팅 모니터링 대시보드

Evidently가 가장 적합한 사용자

Evidently는 무료 셀프 호스팅 방식의 평가 및 모니터링을 원하고, 이를 직접 운영하고 유지 관리하는 데 부담이 없는 Python 팀에 적합합니다. 기존 ML 모니터링(정형 데이터 모델의 데이터 드리프트)과 LLM 평가를 하나의 라이브러리에서 모두 다루는 점이 특징이며, 두 가지를 함께 운영하는 팀에 도움이 됩니다. Reports와 Test Suites는 노트북과 CI 작업에 쉽게 통합됩니다.

관리형 호스팅 제품을 원하셨다면 Evidently Cloud는 종료되었습니다. Langfuse(호스팅 클라우드를 제공하는 오픈소스)를 살펴보시거나, LangChain으로 개발한다면 LangSmith를 확인해 보세요. 강력한 UI를 갖춘 오픈소스 트레이싱 및 평가 도구로는 Arize Phoenix를 사용해 보세요. 호스팅 플랫폼을 갖춘 pytest 스타일의 LLM 테스트 프레임워크로는 Confident AI를, RAG 전용 지표로는 Ragas를 비교해 보세요.

사용자 평가

Evidently의 GitHub 저장소는 2026년 11월 10일 기준 약 8,000개의 스타를 받았으며, 최신 릴리스인 v0.7.23은 2026년 9월 11일에 나왔습니다. aicoolies의 편집 리뷰(최종 확인일 2026년 3월 31일)는 ML과 LLM 워크로드를 모두 아우르는 완성도 높은 오픈소스 AI 모니터링 프레임워크라고 평가하면서도, Python 중심이며 ML 기반인 접근 방식이 순수 LLM 배경의 팀에게는 덜 직관적일 수 있다고 지적합니다. 이 리뷰에는 더 이상 판매되지 않는 호스팅 Cloud 플랜이 여전히 나열되어 있습니다. Product Hunt에서는 두 명의 리뷰어가 드리프트 감지와 시각화를 높이 평가합니다. Evidently 자체 사이트에는 DeepL, Wise, Realtor.com 등 기업의 ML 팀이 남긴 추천 후기가 있으며, 대부분 데이터 드리프트 모니터링에 관한 내용입니다. G2나 Reddit의 독립적인 리뷰는 찾지 못했습니다.

장점

  • Apache 2.0 라이선스의 완전한 오픈소스이며 상업적 사용도 무료입니다
  • 하나의 라이브러리에서 LLM 평가와 기존 ML 데이터 드리프트를 모두 다룹니다
  • 100개 이상의 기본 제공 지표와 사용자 정의 LLM-judge 평가를 제공합니다
  • 셀프 호스팅 대시보드로 평가 데이터를 자체 저장소에 보관할 수 있습니다
  • 활발하게 릴리스되고 있으며, 2026년 9월에 v0.7.23이 나왔습니다

단점

  • 호스팅형 Evidently Cloud가 종료되어 직접 운영해야 합니다
  • 오픈소스 에디션에는 알림, 예약 작업, 로그인 및 접근 제어 기능이 없습니다
  • 오픈소스 사용자를 위한 이메일 지원은 없으며 Discord와 GitHub로만 지원됩니다
  • Python 중심이며, 한 리뷰어는 LLM만 다루는 팀은 다른 도구에서 더 빠르게 시작할 수 있다고 평가합니다

자주 묻는 질문

Evidently AI는 무료인가요?

네. Evidently Python 라이브러리와 셀프 호스팅 Evidently Platform은 Apache 2.0 라이선스의 오픈소스이며 무료로 사용할 수 있습니다. 직접 운영하는 인프라 비용과 LLM 심사(LLM-judge) 평가에 사용하는 LLM API 비용은 별도로 부담해야 합니다.

Evidently Cloud는 여전히 이용할 수 있나요?

아니요. Evidently 문서에 따르면 Evidently Cloud는 더 이상 SaaS 제품으로 제공되지 않으며, 요금 페이지는 현재 홈페이지로 리디렉션됩니다. 오픈소스 Evidently Platform을 셀프 호스팅하거나 라이브러리를 다른 도구와 함께 사용할 수 있습니다. 2026년 11월 10일 확인.

Evidently로 무엇을 평가할 수 있나요?

챗봇, RAG 앱, AI 에이전트, 코파일럿과 같은 LLM 기반 시스템(환각, PII, 검색 관련성, 유해성, 형식 및 사용자 정의 LLM-judge 검사)과 예측형 ML 모델(데이터 드리프트, 데이터 품질, 모델 성능)을 100개 이상의 기본 제공 지표로 평가할 수 있습니다.

Evidently는 어떻게 설치하나요?

pip install evidently를 실행하세요. LLM 평가에는 pip install evidently[llm]을 사용합니다. conda-forge에서도 설치할 수 있습니다. 운영 중인 LLM 앱을 트레이싱하려면 pip install tracely로 자매 패키지를 설치합니다. 셀프 호스팅 대시보드는 evidently ui로 실행합니다.

오픈소스 Evidently에는 어떤 기능이 없나요?

Evidently 문서는 노코드 평가, 데이터 생성 및 대시보드, 나란히 비교, 알림, 예약 작업, 인증, 역할 기반 접근 제어를 상용 전용 기능으로 안내합니다. 오픈소스 플랫폼에는 트레이싱, 평가, 대시보드, 데이터셋 관리, 합성 데이터, 프롬프트 최적화 기능이 있습니다.

Evidently에서 Claude나 Gemini를 LLM 심사자로 사용할 수 있나요?

Evidently 변경 로그에 따르면 버전 0.6.2에서 litellm 지원이 확장되어, LLM 기반 평가에 OpenAI 외에 Gemini, Anthropic 등의 제공업체를 사용할 수 있습니다.

대안 비교

Evidently AI

무료 · API

이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.

하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음