1
Intel Neural Compressor
Shares tags: deploy, hardware & accelerators, cpu-only optimizers
AI Tool
Optimisez vos modèles d'IA avec Microsoft Olive
Modélisation optimisée de la compression et de la compilation pour les CPU, GPU et NPU.
Visit Microsoft Olive→
DeployHardware & AcceleratorsCPU-only Optimizers
1Atteignez des performances supérieures grâce à des optimisations ciblées sur divers matériels.
2Simplifiez votre flux de travail grâce à des API CLI/Python améliorées et une configuration YAML.
3Exploitez des techniques de quantification à la pointe de la technologie pour un déploiement avancé des modèles.
Similar Tools
Compare Alternatives
Other tools you might consider
overview
Qu'est-ce que Microsoft Olive ?
Microsoft Olive est un puissant ensemble d'outils de compression et de compilation de modèles, conçu pour optimiser les charges de travail en IA sur diverses plateformes matérielles. Il s'adresse à la fois aux praticiens du ML recherchant la facilité d'utilisation et aux utilisateurs avancés nécessitant un contrôle précis sur leurs modèles.
- 1Optimise les modèles pour les CPU, GPU et NPU avec un minimum de réglage manuel.
- 2Prend en charge un large éventail de frameworks et d'accélérateurs pour un déploiement flexible.
- 3Conçu pour les utilisateurs novices comme pour les experts.
features
Caractéristiques clés d'Olive
Avec des capacités de pointe, Olive améliore la performance des modèles grâce à des techniques de compression avancées. Nos dernières innovations garantissent une gestion plus efficace des modèles complexes, tout en mettant l'accent sur une expérience utilisateur conviviale.
- 1Précision mixte sélective et GPTQ natif pour une quantification efficace.
- 2Quantification par blocs RTN pour une optimisation transparente des modèles ONNX.
- 3Collaboration améliorée grâce à un cache partagé et des workflows basés sur YAML.
use cases
Cas d'utilisation pour Microsoft Olive
Microsoft Olive est polyvalent, répondant à divers besoins allant du déploiement de modèles d'apprentissage machine sur des dispositifs en périphérie à l'optimisation des applications d'IA basées sur le cloud. Ses fonctionnalités avancées le rendent adapté à un large éventail d'industries.
- 1Optimisez des modèles de langage de grande taille comme Llama 3.2 pour un déploiement efficace.
- 2Facilitez le support des métadonnées ONNX personnalisées pour améliorer la performance des modèles.
- 3Déployez des applications sans effort sur des plateformes cloud et edge.
❓
Frequently Asked Questions
+Quels types de matériel Microsoft Olive prend-il en charge ?
Olive prend en charge une large gamme de matériel, y compris les CPU, GPU et NPU, avec des optimisations spécifiques pour les architectures AMD et Intel.
+Puis-je utiliser Microsoft Olive pour des workflows collaboratifs ?
Oui, Olive propose un cache partagé et une gestion des données simplifiée pour améliorer la collaboration entre les équipes travaillant sur des modèles d'IA.
+Y a-t-il une courbe d'apprentissage pour utiliser Microsoft Olive ?
Olive est conçu pour une utilisation facile, avec des API intuitives et des outils en ligne de commande, rendant la plateforme accessible aussi bien aux débutants qu'aux utilisateurs avancés.