overview
Qu'est-ce que Respan Gateway ?
Respan Gateway est une plateforme d'ingénierie LLM développée par Respan qui permet aux développeurs LLM, fondateurs, ingénieurs et équipes produit d'unifier l'observabilité, les évaluations, l'optimisation des prompts et les fonctions de passerelle LLM. Elle fournit un point d'accès unique compatible OpenAI pour acheminer les requêtes vers plus de 500 LLM. La plateforme agit comme un plan de contrôle unifié, intégrant une passerelle d'IA avec une observabilité complète, des pipelines d'évaluation automatisés et des capacités d'optimisation des prompts. Cette architecture simplifie les déploiements multi-modèles, atténue le verrouillage propriétaire (vendor lock-in) et permet de basculer facilement entre les modèles sans nécessiter de modifications de code. Les fonctionnalités clés incluent la garantie de la disponibilité des applications grâce à un mécanisme de secours de modèle ordonné (ordered model fallback), l'équilibrage de charge (load balancing) entre les déploiements et les fournisseurs, et des tentatives automatiques configurables avec un délai d'attente (backoff) pour résoudre des problèmes tels que les erreurs de modèle ou les limites de débit (rate limits). Respan Gateway trace chaque appel LLM de bout en bout, capturant des métriques critiques comme la latence, les erreurs, les tokens et le coût, offrant une visibilité détaillée sur le comportement et les performances des agents dans les environnements de production. Elle facilite également la gestion des prompts avec le contrôle de version, les tests A/B et des pipelines d'évaluation automatisés qui combinent des vérifications de règles basées sur le code, des évaluateurs LLM (LLM judge graders) et une révision humaine (human-in-the-loop) pour mesurer la qualité des sorties et détecter les régressions.