L'outil de Netflix réduit les coûts de l'IA de 95%
Un ingénieur de Netflix vient de publier en open-source un outil qui réduit l'utilisation de tokens par les agents d'IA jusqu'à 95%. Ce proxy local-first compresse intelligemment le contexte avant qu'il n'atteigne le LLM, rendant les agents puissants radicalement moins chers.
