Ваша машина не должна гадать
Локальные движки для AI-инференса не должны гадать о характеристиках оборудования. Вместо использования стандартных настроек, Magnitude профилирует хост-машину, а затем тестирует различные конфигурации ядер (kernels) непосредственно на устройстве. После этого он выбирает самый быстрый путь выполнения для конкретного чипа, будь то Metal на Apple Silicon, CUDA на NVIDIA, ROCm на AMD или стандартный CPU.
Ядра (kernels) — это низкоуровневые подпрограммы, которые определяют, насколько эффективно операции модели используют CPU или GPU. Они определяют реальную скорость AI-модели, что напрямую влияет на количество токенов в секунду. Предварительно скомпилированные, универсальные ядра часто не позволяют раскрыть весь потенциал производительности, так как не используют уникальные характеристики конкретного оборудования.
Такая настройка с учетом особенностей оборудования дает существенный прирост производительности. Magnitude заявляет об ускорении декодирования до 92% на Apple Silicon (M4 Pro / Metal), увеличивая скорость с 30 до 57 токенов/сек для 4-битных моделей объемом 35B, таких как Qwen 3.6 35B. На NVIDIA CUDA (DGX Spark) также наблюдается ускорение декодирования примерно на 19% и префилла на 23%.
Однако результаты зависят от конкретного чипа, архитектуры модели и доступных оптимизаций ядер. CLI/десктопное приложение Magnitude заранее профилирует VRAM и вычислительные мощности, предоставляя индикаторы «поместится ли модель» и оценочную скорость в токенах/сек для таких моделей, как DeepSeek, Qwen и Gemma, еще до того, как вы их скачаете.
Создан для агентов, а не для очередного окна чата
Magnitude — это не просто очередное локальное приложение для чата. Оно создано для агентов, учитывая, что инструменты для кодинга постоянно отправляют длинные промпты, проверяют файлы, вызывают инструменты и запрашивают последующие ответы — что сильно отличается от чат-окон с однократными запросами. Этот фокус на многошаговых итеративных рабочих нагрузках лежит в основе его дизайна.
Для упрощения интеграции с агентами Magnitude предоставляет OpenAI-совместимые и Anthropic-совместимые API на localhost. Это позволяет таким инструментам, как Claude Code, Codex, Cline и OpenCode, подключаться к локальным моделям с минимальными усилиями. В видео это демонстрируется на примере Claude Code, показывая подключение к локальной модели на Mac в один клик, минуя сложные настройки прокси.
Эта API-совместимость значительно упрощает работу разработчика. Пользователи могут избежать настройки прокси или промежуточного ПО, напрямую подключая свои любимые агентские инструменты к Magnitude. Несмотря на упрощение подключения, пользователям все равно необходимо выбрать подходящую модель и настроить агента для ее эффективного использования. Дизайн Magnitude нацелен на устранение шаблонного кода, позволяя разработчикам сосредоточиться на логике агента, а не на инфраструктуре. Его кодовая база на Rust с лицензией Apache-2.0 и кастомные рантаймы ядер отражают этот подход, ориентированный на инженерные решения.
Показатели скорости — и мелкий шрифт
Заявления о производительности Magnitude впечатляют, хотя и зависят от конфигурации. На M4 Pro протестированная 4-битная модель 35B (например, Qwen 3.6 35B) продемонстрировала ускорение декодирования до 92% — с 30 до 57 токенов/секунду — и примерно на 9% более быстрый префилл по сравнению с llama.cpp. Для конфигураций на NVIDIA CUDA, в частности DGX Spark, Magnitude показал ускорение декодирования примерно на 19% и префилла на 23%.
Эти бенчмарки не являются универсальными гарантиями. Результаты сильно зависят от конкретных переменных: выбранной модели, длины промпта, метода квантования, архитектуры оборудования и N/A (general English word) самой рабочей нагрузки. Настройка Magnitude на устройстве превосходит аналоги за счет поиска оптимальных конфигураций ядер для N/A (general English word) конкретной машины, но общие бенчмарки служат лишь отправной точкой.
Инженеры сталкиваются с компромиссами. Ядра, настроенные под N/A (general English word), часто отдают предпочтение популярным архитектурам, таким как Qwen или Gemma, что означает, что нишевые модели могут получить меньший прирост производительности. Длительный инференс больших моделей также генерирует тепло, что N/A (general English word) влияет на время автономной работы — практический аспект для локального ИИ. Для более глубокого технического погружения и N/A (general English word) отслеживания разработки посетите репозиторий GitHub - magnitudedev/magnitude: Open source inference engine for agents.
Подход Magnitude к динамической оптимизации на устройстве — это значительный шаг вперед по сравнению со статичными, обобщенными ядрами, расширяющий границы эффективного локального ИИ.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Настоящее испытание — это полноценная сессия агента
Функции памяти, ориентированные на агентов, также направлены на итеративный характер рабочих нагрузок агентов. Prefix caching повторно использует повторяющиеся системные инструкции и N/A (general English word) вызовы функций, избегая избыточных вычислений на разных этапах. Динамическое распределение памяти направлено на освобождение памяти сессии по завершении задач, а не на ее удержание до выхода из процесса.
Этот подход, как сообщается, снижает потребление памяти примерно на 27% на каждого параллельного агента. Хотя это многообещающий показатель, заявленный вендором, для подтверждения этого преимущества потребуется реальная проверка на различных рабочих нагрузках агентов и N/A (general English word) оборудовании. Эффективность памяти, как и скорость, часто значительно варьируется в зависимости от варианта использования.
В конечном счете, настоящее испытание — это сквозная сессия агента на N/A (general English word) собственном оборудовании. Протестируйте конкретные модели, которые вы планируете развернуть, и N/A (general English word) измерьте общее время выполнения сложных задач вместе с общим потреблением памяти. Сравните эти результаты с N/A (general English word) существующей локальной средой выполнения.
Чтобы начать N/A (general English word) оценку, изучите кодовую базу Magnitude на языке Rust с лицензией Apache-2.0 и N/A (general English word) документацию. Проект доступен на GitHub и N/A (general English word) предлагает предварительно скомпилированные бинарные файлы для Apple Silicon, NVIDIA CUDA, ROCm и N/A (general English word) CPU. Запустите N/A (general English word) собственные тесты и N/A (general English word) посмотрите, работает ли он так, как заявлено, для N/A (general English word) ваших конкретных нужд.
Часто задаваемые вопросы
Что такое Magnitude?
Magnitude — это локальный движок инференса с открытым исходным кодом, предназначенный для запуска ИИ-моделей для агентов кодинга, с настройкой под оборудование и функциями, ориентированными на агентов.
Как Magnitude настраивается под ваше оборудование?
Он проводит бенчмарки различных конфигураций ядер на хост-машине и выбирает ту конфигурацию, которая лучше всего работает на данном оборудовании.
Может ли Claude Code подключиться к модели, работающей локально с Magnitude?
Да. Magnitude предоставляет API, совместимый с Anthropic, на localhost, позволяя Claude Code подключаться к поддерживаемой локальной модели.
Делает ли Magnitude каждую локальную модель быстрее, чем llama.cpp?
Нет. Заявленный прирост зависит от оборудования и архитектуры модели; специализированные ядра могут приносить больше пользы поддерживаемым моделям, чем менее распространенным.