Intel Neural Compressor
Shares tags: deploy, hardware & accelerators, cpu-only optimizers
AI Tool
Оптимизируйте свои модели с помощью Microsoft Olive
Даем разработчикам возможность с помощью комплексного процесса сжатия моделей и компиляции.
Добейтесь превосходной производительности с помощью выборочной смешанной точности и нативной поддержки GPTQ для эффективной квантизации.Упрощайте свой рабочий процесс с помощью нового CLI и Python API, делая оптимизацию моделей доступной для специалистов любого уровня.Используйте расширенную поддержку различных аппаратных средств и интеграций, чтобы улучшить эффективность развертывания на разных платформах.
Tags
DeployHardware & AcceleratorsCPU-only Optimizers
Similar Tools
Compare Alternatives
Other tools you might consider
overview
Что такое Microsoft Olive?
Microsoft Olive — это мощный инструмент, разработанный для разработчиков моделей машинного обучения и корпоративных команд, стремящихся оптимизировать свои модели для ЦП, ГП и НПУ. Он упрощает автоматизированное сжатие моделей с учетом аппаратного обеспечения и их развертывание, обеспечивая упрощенные рабочие процессы как в облачных, так и в периферийных средах.
- Ориентирован на широкий спектр аппаратного обеспечения для комплексной оптимизации.
- Идеально подходит для разработчиков, использующих модели Hugging Face.
- Бесперебойно интегрируется с рабочими процессами Azure AI и ONNX Runtime.
features
Ключевые особенности Microsoft Olive
Olive предлагает инновационный набор функций, который удовлетворяет потребности как начинающих, так и опытных разработчиков. Эти возможности разработаны для того, чтобы значительно сократить ручные усилия при оптимизации моделей и улучшить производительность на различных аппаратных конфигурациях.
- Селективная смешанная точность для повышения точности квантизации.
- Новая команда CLI `olive optimize` для быстрого выполнения оптимизаций.
- Расширенная поддержка API для более легкой интеграции в существующие рабочие процессы.
use_cases
Идеальные варианты использования Olive
Microsoft Olive идеально подходит для команд, сосредоточенных на развертывании эффективных ИИ-моделей в различных средах. Независимо от того, улучшаете ли вы облачные возможности или оптимизируете для периферийных устройств, Olive выделяется как незаменимый ресурс.
- Оптимизация больших языковых моделей для приложений в реальном времени.
- Интеграция аппаратно-ориентированных методов для повышения производительности.
- Автоматизация упаковки моделей для бесшовного развертывания.
Frequently Asked Questions
Кто может получить преимущества от использования Microsoft Olive?
Microsoft Olive разработан для разработчиков ML-моделей и корпоративных команд, стремящихся оптимизировать свои модели для аппаратного обеспечения, такого как ЦП, ГП и НПУ.
Какие типы моделей поддерживает Olive?
Olive в основном поддерживает модели, созданные с использованием Hugging Face и ONNX, и облегчает оптимизацию для различных сред развертывания.
Как новые CLI и API улучшают удобство использования?
Команда CLI `olive optimize` и API Python `olive.quantize()` делают этапы оптимизации моделей более интуитивно понятными, ориентируясь как на начинающих, так и на опытных разработчиков.