overview
Что такое Neural Magic SparseML?
Neural Magic SparseML — это инновационный инструмент, предназначенный для повышения скорости вывода на CPU. Путем использования технологий структурной разреженности он позволяет эффективно запускать модели глубокого обучения без необходимости в мощных GPU.
- Использует современные рецепты структурированной разреженности.
- Оптимизирует существующие модели для работы исключительно в средах с процессорами CPU.
- Преобразует стратегии развертывания для сценариев с ограниченными ресурсами.