Revisión de LiteLLM

LiteLLM es una herramienta AI Gateway y Python SDK desarrollada por LiteLLM que permite a desarrolladores, equipos de plataforma y líderes de productos de IA unificar el acceso a más de 100 proveedores de LLM. Ofrece una interfaz compatible con OpenAI, simplificando la integración de modelos, el seguimiento de costos y la conmutación por error dinámica para aplicaciones de IA empresariales. La herramienta funciona tanto como una biblioteca Python de código abierto como un proxy server, abstrayendo las complejidades de diversas APIs de LLM en un formato único y consistente. Esta normalización permite a los usuarios cambiar entre modelos de proveedores como OpenAI, Anthropic, Google Gemini, Mistral, Cohere, Azure, AWS Bedrock y modelos locales (por ejemplo, a través de Ollama) sin modificar el código de la aplicación.

Más allá de la normalización de la API, LiteLLM opera como un AI Gateway, gestionando y enrutando solicitudes, manejando la autenticación, rastreando el uso y los costos, implementando rate limiting y proporcionando características avanzadas como caching, load balancing y automatic model fallback. Un evento notable en su historia incluye un ataque a la cadena de suministro el 24 de marzo de 2026, donde versiones maliciosas (v1.82.7 y v1.82.8) fueron publicadas brevemente en PyPI. Estas versiones, activas durante aproximadamente 40 minutos, contenían una carga útil para la recolección de credenciales y la instalación de puertas traseras. Una versión limpia (v1.83.0) fue lanzada el 30 de marzo de 2026, tras mejoras de seguridad. Los clientes que utilizaban la imagen oficial de LiteLLM Proxy Docker no se vieron afectados. Los desarrollos recientes incluyen soporte para 116 nuevos modelos a partir del 16 de marzo de 2026 (v1.82.3), y la introducción de Realtime Guardrails y Projects Management en la versión 1.82.0 (28 de febrero de 2026).

LiteLLM proporciona un conjunto completo de características diseñadas para optimizar la integración y gestión de Large Language Models en diversos entornos, desde el desarrollo individual hasta despliegues a escala empresarial.

LiteLLM está diseñado para una variedad de usuarios técnicos y organizaciones que buscan optimizar su interacción con Large Language Models, ofreciendo soluciones para acceso simplificado, gestión de costos y fiabilidad mejorada.

LiteLLM opera bajo un modelo freemium, ofreciendo un sólido núcleo de código abierto con características avanzadas y soporte disponible a través de un plan Enterprise. La versión de código abierto proporciona una amplia funcionalidad para que desarrolladores y organizaciones gestionen sus interacciones con LLM.