Evidently의 기능
Evidently(evidentlyai.com)는 AI 시스템을 테스트하기 위한 오픈소스 프레임워크입니다. Evidently Python 라이브러리는 100개 이상의 기본 제공 지표로 평가를 실행하고, Python에서 확인하거나 JSON 또는 HTML로 내보내거나 CI 파이프라인 안에서 실행할 수 있는 Reports와 Test Suites를 생성합니다. LLM 제품의 경우 가이드라인 및 형식 준수, 환각과 사실성, PII, 검색 품질과 컨텍스트 관련성, 감성, 유해성과 어조 등을 점검하며, 규칙, 분류기, LLM 심사자를 결합한 사용자 정의 평가도 지원합니다. 예측형 ML 모델의 경우 데이터 드리프트, 데이터 품질, 모델 성능을 추적합니다. 최신 릴리스에서는 합성 테스트 데이터 생성과 LLM 심사자를 위한 자동 프롬프트 최적화가 추가되었습니다.
설치는 pip install evidently(LLM 평가에는 evidently[llm]) 또는 conda로 할 수 있습니다. OpenTelemetry 기반의 자매 라이브러리 Tracely는 운영 중인 LLM 앱의 입력과 출력을 수집합니다. 오픈소스 Evidently Platform은 셀프 호스팅 UI 서비스(evidently ui)로, 평가 스냅샷, 트레이스, 데이터셋을 파일 시스템, SQLite나 Postgres 같은 SQL 데이터베이스 또는 S3 호환 저장소에 보관하고 모니터링 대시보드에 표시합니다. Evidently 문서에는 이제 Evidently Cloud는 더 이상 SaaS 제품으로 제공되지 않는다고 명시되어 있으며, 웹사이트의 요금 페이지는 홈페이지로 리디렉션됩니다.
