Qué hace Evidently
Evidently (evidentlyai.com) es un framework de código abierto para probar sistemas de IA. La biblioteca de Python Evidently ejecuta evaluaciones con más de 100 métricas integradas y genera Reports y Test Suites que puede ver en Python, exportar a JSON o HTML, o ejecutar dentro de un pipeline de CI. Para productos con LLM, comprueba aspectos como el cumplimiento de las directrices y del formato, las alucinaciones y la exactitud factual, la PII, la calidad de la recuperación y la relevancia del contexto, el sentimiento, la toxicidad y el tono, además de evaluaciones personalizadas que combinan reglas, clasificadores y LLM como juez. Para modelos de ML predictivos, supervisa la deriva de datos, la calidad de los datos y el rendimiento del modelo. Las versiones más recientes añaden la generación de datos de prueba sintéticos y la optimización automatizada de prompts para LLM como juez.
Se instala con pip install evidently (o evidently[llm] para evaluaciones de LLM) o con conda. La biblioteca hermana Tracely, basada en OpenTelemetry, captura las entradas y salidas de una aplicación LLM en producción. La Evidently Platform de código abierto es un servicio de interfaz autoalojado (evidently ui) que almacena instantáneas de evaluación, trazas y conjuntos de datos en un sistema de archivos, una base de datos SQL como SQLite o Postgres, o almacenamiento compatible con S3, y los muestra en un panel de monitorización. La documentación de Evidently indica ahora que Evidently Cloud ya no está disponible como producto SaaS; la página de precios del sitio web redirige a la página principal.
