1
Intel Neural Compressor
Shares tags: deploy, hardware & accelerators, cpu-only optimizers
AI Tool
Оптимизируйте свои модели с помощью Microsoft Olive
Даем разработчикам возможность с помощью комплексного процесса сжатия моделей и компиляции.
Visit Microsoft Olive→
DeployHardware & AcceleratorsCPU-only Optimizers
1Добейтесь превосходной производительности с помощью выборочной смешанной точности и нативной поддержки GPTQ для эффективной квантизации.
2Упрощайте свой рабочий процесс с помощью нового CLI и Python API, делая оптимизацию моделей доступной для специалистов любого уровня.
3Используйте расширенную поддержку различных аппаратных средств и интеграций, чтобы улучшить эффективность развертывания на разных платформах.
Similar Tools
Compare Alternatives
Other tools you might consider
overview
Что такое Microsoft Olive?
Microsoft Olive — это мощный инструмент, разработанный для разработчиков моделей машинного обучения и корпоративных команд, стремящихся оптимизировать свои модели для ЦП, ГП и НПУ. Он упрощает автоматизированное сжатие моделей с учетом аппаратного обеспечения и их развертывание, обеспечивая упрощенные рабочие процессы как в облачных, так и в периферийных средах.
- 1Ориентирован на широкий спектр аппаратного обеспечения для комплексной оптимизации.
- 2Идеально подходит для разработчиков, использующих модели Hugging Face.
- 3Бесперебойно интегрируется с рабочими процессами Azure AI и ONNX Runtime.
features
Ключевые особенности Microsoft Olive
Olive предлагает инновационный набор функций, который удовлетворяет потребности как начинающих, так и опытных разработчиков. Эти возможности разработаны для того, чтобы значительно сократить ручные усилия при оптимизации моделей и улучшить производительность на различных аппаратных конфигурациях.
- 1Селективная смешанная точность для повышения точности квантизации.
- 2Новая команда CLI `olive optimize` для быстрого выполнения оптимизаций.
- 3Расширенная поддержка API для более легкой интеграции в существующие рабочие процессы.
use cases
Идеальные варианты использования Olive
Microsoft Olive идеально подходит для команд, сосредоточенных на развертывании эффективных ИИ-моделей в различных средах. Независимо от того, улучшаете ли вы облачные возможности или оптимизируете для периферийных устройств, Olive выделяется как незаменимый ресурс.
- 1Оптимизация больших языковых моделей для приложений в реальном времени.
- 2Интеграция аппаратно-ориентированных методов для повышения производительности.
- 3Автоматизация упаковки моделей для бесшовного развертывания.
❓
Frequently Asked Questions
+Кто может получить преимущества от использования Microsoft Olive?
Microsoft Olive разработан для разработчиков ML-моделей и корпоративных команд, стремящихся оптимизировать свои модели для аппаратного обеспечения, такого как ЦП, ГП и НПУ.
+Какие типы моделей поддерживает Olive?
Olive в основном поддерживает модели, созданные с использованием Hugging Face и ONNX, и облегчает оптимизацию для различных сред развертывания.
+Как новые CLI и API улучшают удобство использования?
Команда CLI `olive optimize` и API Python `olive.quantize()` делают этапы оптимизации моделей более интуитивно понятными, ориентируясь как на начинающих, так и на опытных разработчиков.