overview
Qu'est-ce que le cache des invites de Fireworks ?
Fireworks Prompt Cache est un outil puissant conçu pour améliorer les temps de réponse de votre IA en réutilisant des préfixes de prompt précalculés. Cette solution de mise en cache innovante est idéale pour les cas d'utilisation d'entreprise et de développement sensibles à la latence, nécessitant des performances en temps réel.
- Personnalisable pour des modèles d'IA et des déploiements spécifiques.
- Prend en charge à la fois les charges de travail LLM et VLM.
- Optimise l’utilisation des ressources pour des applications IA évolutives.