Progress AI Observability Review

Qu'est-ce que Progress AI Observability ?

Fonctionnalités clés de Progress AI Observability

• Tracer les chemins d'exécution à travers les invites, les modèles et les outils.
• Déboguer les défaillances des agents d'IA, y compris les outils ignorés, les problèmes de récupération et le mauvais contexte.
• Suivre et réduire les dépenses d'IA, en surveillant l'utilisation des jetons et les coûts totaux.
• Évaluer les sorties d'IA en utilisant les évaluations LLM-as-a-Judge pour des critères de qualité comme la pertinence et la justesse.
• Améliorer les invites, les modèles, la récupération, les outils et les flux de travail au fil du temps en utilisant les traces de production.
• Surveiller les appels LLM, les invocations d'outils et les flux de travail des agents en temps réel.
• Fournir une attribution complète des coûts par agent, par modèle et les coûts totaux.
• Offrir des fonctionnalités pour maintenir l'historique des traces, les pistes d'audit et gérer l'accès pour les équipes d'entreprise.

Qui devrait utiliser Progress AI Observability ?

• Équipes professionnelles construisant et exécutant des applications basées sur l'IA : Pour obtenir une visibilité complète sur les agents d'IA et les applications basées sur les LLM, capturer les traces, mesurer les coûts et évaluer la qualité des sorties.
• Équipes d'ingénierie et développeurs (.NET, Python, JavaScript) : Pour tracer et observer les chemins d'exécution des agents d'IA, déboguer les défaillances et améliorer les invites, les modèles et les flux de travail.
• Leaders de l'ingénierie : Pour contrôler et suivre les dépenses d'IA, surveiller le comportement des agents à travers divers flux de travail et identifier les modèles inefficaces.
• Organisations d'entreprise : Pour faire évoluer les systèmes d'IA avec contrôle et visibilité, en maintenant l'historique des traces, les pistes d'audit et en gérant les exigences d'accès et de résidence des données.

Comment utiliser Progress AI Observability

• 1Créez un compte Progress AI Observability, en commençant par le plan Free Forever.
• 2Intégrez les SDK de la plateforme dans les applications .NET, Python ou JavaScript/TypeScript.
• 3Instrumentez les flux de travail des agents d'IA pour capturer les chemins d'exécution, les détails des invites et les appels de modèles.
• 4Utilisez le tableau de bord pour tracer les défaillances des agents, analyser l'utilisation des jetons et surveiller les coûts.
• 5Configurez les évaluations LLM-as-a-Judge pour évaluer la qualité des sorties d'IA en production.
• 6Itérez sur les invites, les modèles et les outils en fonction des informations dérivées des traces et des évaluations de production.

Tarification et plans de Progress AI Observability

• Free Forever : 0 $ par mois, inclut 10 000 unités.
• Starter : 29 $ par mois, inclut 200 000 unités.
• Pro : 299 $ par mois.
• Enterprise : À partir de 3 000 $ par mois.
• Tarification à l'usage : 8 $ US par 100 000 unités supplémentaires au-delà des limites du plan.