Votre machine ne devrait pas avoir à deviner
Les moteurs d'inférence d'IA locale ne devraient pas avoir à deviner le matériel. Au lieu de s'appuyer sur une configuration générique, Magnitude profile la machine hôte, puis évalue plusieurs configurations de noyau directement sur l'appareil. Il sélectionne ensuite le chemin d'exécution le plus rapide pour cette puce spécifique, qu'il s'agisse de Metal sur Apple Silicon, CUDA sur NVIDIA, ROCm sur AMD ou d'un CPU standard.
Les noyaux (kernels) sont les routines de bas niveau qui dictent l'efficacité avec laquelle les opérations du modèle utilisent un CPU ou un GPU. Ils déterminent la vitesse réelle de votre modèle d'IA, se traduisant directement en jetons par seconde. Les noyaux pré-compilés et généralisés laissent souvent une performance significative sur la table en n'exploitant pas pleinement les caractéristiques uniques de chaque matériel.
Cet ajustement conscient du matériel offre des gains de performance substantiels. Magnitude revendique jusqu'à 92 % de décodage plus rapide sur Apple Silicon (M4 Pro / Metal), faisant passer 30 tok/s à 57 tok/s pour des modèles 35B 4 bits comme Qwen 3.6 35B. NVIDIA CUDA (DGX Spark) bénéficie également d'un décodage environ 19 % plus rapide et d'un pré-remplissage 23 % plus rapide.
Cependant, les résultats dépendent de la puce spécifique, de l'architecture du modèle et des optimisations de noyau disponibles. L'application CLI/bureau de Magnitude profile la VRAM et le calcul au préalable, fournissant des indicateurs de compatibilité et une estimation des jetons/sec pour des modèles comme DeepSeek, Qwen et Gemma, avant même que vous ne les téléchargiez.
Conçu pour les agents, pas pour une simple fenêtre de chat
Magnitude n'est pas juste une autre application de chat locale. Il est conçu pour les agents, reconnaissant que les outils de codage envoient à plusieurs reprises de longues invites, inspectent des fichiers, appellent des outils et demandent des réponses de suivi — bien loin des fenêtres de chat à tour unique. Cette concentration sur les charges de travail itératives et multi-étapes guide sa conception sous-jacente.
Pour faciliter l'intégration des agents, Magnitude fournit des API compatibles OpenAI et compatibles Anthropic sur localhost. Cela permet à des outils comme Claude Code, Codex, Cline et OpenCode de se connecter aux modèles locaux avec un minimum de friction. La vidéo illustre cela avec Claude Code, montrant une connexion en un clic à un modèle local fonctionnant sur un Mac, contournant les configurations de proxy complexes.
Cette compatibilité API simplifie considérablement l'expérience du développeur. Les utilisateurs peuvent éviter de configurer des proxys ou des middlewares, en connectant directement leurs outils d'agent préférés à Magnitude. Bien que cela rationalise la connexion, les utilisateurs doivent toujours sélectionner un modèle approprié et configurer l'agent pour l'exploiter efficacement. La conception de Magnitude vise à supprimer le code répétitif, permettant aux développeurs de se concentrer sur la logique de l'agent plutôt que sur l'infrastructure. Sa base de code Rust sous licence Apache-2.0 et ses runtimes de noyau personnalisés reflètent cette approche axée sur l'ingénierie.
Les chiffres de vitesse — et les petits caractères
Les revendications de performance de Magnitude sont convaincantes, bien que spécifiques à la configuration. Sur un M4 Pro, un modèle 35B 4 bits testé (par exemple, Qwen 3.6 35B) a démontré des vitesses de décodage jusqu'à 92 % plus rapides — passant de 30 à 57 jetons/seconde — et un pré-remplissage environ 9 % plus rapide par rapport à llama.cpp. Pour les configurations NVIDIA CUDA, spécifiquement le DGX Spark, Magnitude a rapporté un décodage environ 19 % plus rapide et un pré-remplissage 23 % plus rapide.
Ces benchmarks ne sont pas des garanties universelles. Les résultats dépendent fortement de variables spécifiques : le modèle choisi, la longueur du prompt, la méthode de quantification, l'architecture matérielle et N/A (general English word) la charge de travail elle-même. Le réglage sur appareil de Magnitude excelle en trouvant des configurations de noyau optimales pour N/A (general English word) une machine spécifique, mais les benchmarks généraux fournissent un point de départ.
Les ingénieurs sont confrontés à des compromis. Les noyaux réglés N/A (general English word) favorisent souvent des architectures populaires comme Qwen ou Gemma, ce qui signifie que les modèles de niche pourraient constater des gains de performance plus faibles. L'inférence soutenue de grands modèles génère également de la chaleur N/A (general English word) qui affecte l'autonomie de la batterie, une considération pratique pour l'IA locale. Pour des analyses techniques plus approfondies N/A (general English word) et un développement continu, consultez le dépôt GitHub - magnitudedev/magnitude: Open source inference engine for agents.
L'approche de Magnitude en matière d'optimisation dynamique sur appareil constitue une avancée significative par rapport aux noyaux statiques et généralisés, repoussant les limites de l'IA locale efficace.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Le véritable test est une session d'agent complète
Les fonctionnalités de mémoire orientées agent ciblent également la nature itérative des charges de travail des agents. Le Prefix caching réutilise les instructions système répétées N/A (general English word) et les appels de fonction, évitant les calculs redondants entre les étapes. L'allocation dynamique de mémoire vise à libérer la mémoire de session lorsque les tâches se terminent, plutôt que de la conserver jusqu'à la fermeture du processus.
Cette approche réduirait l'empreinte mémoire d'environ 27 % par agent simultané. Bien qu'il s'agisse d'un chiffre prometteur rapporté par le fournisseur, une validation en conditions réelles sur diverses charges de travail d'agents N/A (general English word) et matériels sera cruciale pour confirmer cet avantage. L'efficacité de la mémoire, tout comme la vitesse, varie souvent considérablement selon le cas d'utilisation.
En fin de compte, le véritable test est une session d'agent de bout en bout sur N/A (general English word) votre propre matériel. Évaluez les modèles spécifiques que vous prévoyez de déployer, N/A (general English word) et mesurez le temps total nécessaire pour accomplir des tâches complexes, ainsi que la consommation globale de mémoire. Comparez ces résultats avec N/A (general English word) votre runtime local existant.
Pour commencer N/A (general English word) votre évaluation, explorez la base de code Rust sous licence Apache-2.0 de Magnitude N/A (general English word) et sa documentation. Le projet est disponible sur GitHub N/A (general English word) et propose des binaires précompilés pour Apple Silicon, NVIDIA CUDA, ROCm N/A (general English word) et CPU. Exécutez N/A (general English word) vos propres tests N/A (general English word) pour voir s'il fonctionne comme annoncé pour N/A (general English word) vos besoins spécifiques.
Questions fréquemment posées
Qu'est-ce que Magnitude ?
Magnitude est un moteur d'inférence local open-source conçu pour exécuter des modèles d'IA pour les agents de codage, avec un réglage tenant compte du matériel et des fonctionnalités axées sur les agents.
Comment Magnitude se règle-t-il sur votre matériel ?
Il évalue différentes configurations de noyau sur la machine hôte et sélectionne la configuration la plus performante pour ce matériel.
Claude Code peut-il se connecter à un modèle fonctionnant localement avec Magnitude ?
Oui. Magnitude expose une API compatible avec Anthropic sur localhost, permettant à Claude Code de se connecter à un modèle local pris en charge.
Magnitude rend-il chaque modèle local plus rapide que llama.cpp ?
Non. Les gains rapportés dépendent du matériel et de l'architecture du modèle ; les noyaux spécialisés peuvent bénéficier davantage aux modèles pris en charge qu'aux modèles moins courants.