overview
Was sind die OpenAI Caching-Rabatte?
Die OpenAI Caching-Rabatte nutzen Antwort-Caching und Logit-Voreinstellungen, um die API-Kosten erheblich zu senken. Diese Funktion ist besonders vorteilhaft für Anwendungen mit redundanten Kontexten, da sie es den Nutzern ermöglicht, erhebliche Einsparungen zu erzielen, ohne die Leistung zu beeinträchtigen.
- Ideal für Großkunden und SaaS-Entwickler mit hohem Volumen.
- Gilt für wiederholte oder semantisch ähnliche Token innerhalb der letzten Minuten.