Ihre Maschine sollte nicht raten müssen
Lokale KI-Inferenz-Engines sollten nicht auf Hardware raten müssen. Anstatt sich auf ein generisches Setup zu verlassen, profiliert Magnitude die Host-Maschine und führt dann Benchmarks für mehrere Kernel-Konfigurationen direkt auf dem Gerät durch. Anschließend wählt es den schnellsten Ausführungspfad für den spezifischen Chip aus, sei es Metal auf Apple Silicon, CUDA auf NVIDIA, ROCm auf AMD oder Standard-CPU.
Kernel sind die Low-Level-Routinen, die bestimmen, wie effizient Modelloperationen eine CPU oder GPU nutzen. Sie bestimmen die tatsächliche Geschwindigkeit des KI-Modells, was sich direkt in Tokens pro Sekunde niederschlägt. Vorkompilierte, generalisierte Kernel lassen oft erhebliche Leistung ungenutzt, da sie die einzigartigen Eigenschaften der individuellen Hardware nicht vollständig ausschöpfen.
Dieses hardwarebewusste Tuning bietet erhebliche Leistungssteigerungen. Magnitude erzielt bis zu 92 % schnellere Dekodierung auf Apple Silicon (M4 Pro / Metal) und steigert die Leistung von 30 tok/s auf 57 tok/s bei 4-Bit 35B-Modellen wie Qwen 3.6 35B. NVIDIA CUDA (DGX Spark) verzeichnet ebenfalls eine etwa 19 % schnellere Dekodierung und 23 % schnellere Prefill-Leistung.
Die Ergebnisse hängen jedoch vom spezifischen Chip, der Modellarchitektur und den verfügbaren Kernel-Optimierungen ab. Die CLI/Desktop-App von Magnitude profiliert VRAM und Rechenleistung im Voraus und liefert "Passt es?"-Indikatoren sowie geschätzte Tokens/Sek. für Modelle wie DeepSeek, Qwen und Gemma, noch bevor Sie diese herunterladen.
Gebaut für Agenten, nicht für ein weiteres Chat-Fenster
Magnitude ist nicht einfach nur eine weitere lokale Chat-Anwendung. Es wurde für Agenten entwickelt, da Coding-Tools wiederholt lange Prompts senden, Dateien untersuchen, Tools aufrufen und Folgeantworten anfordern – ein großer Unterschied zu Chat-Fenstern mit nur einer Interaktion. Dieser Fokus auf mehrstufige, iterative Workloads bestimmt das zugrunde liegende Design.
Um die Agenten-Integration zu erleichtern, bietet Magnitude OpenAI-kompatible und Anthropic-kompatible APIs auf localhost. Dies ermöglicht es Tools wie Claude Code, Codex, Cline und OpenCode, sich mit minimalem Aufwand mit lokalen Modellen zu verbinden. Das Video demonstriert dies mit Claude Code und zeigt eine Ein-Klick-Verbindung zu einem lokalen Modell, das auf einem Mac läuft, wodurch komplexe Proxy-Setups umgangen werden.
Diese API-Kompatibilität vereinfacht die Entwicklererfahrung erheblich. Benutzer können die Konfiguration von Proxys oder Middleware vermeiden und ihre bevorzugten Agenten-Tools direkt an Magnitude anschließen. Während dies die Verbindung optimiert, müssen Benutzer dennoch ein geeignetes Modell auswählen und den Agenten so konfigurieren, dass er es effektiv nutzt. Das Design von Magnitude zielt darauf ab, Boilerplate-Code zu entfernen, sodass sich Entwickler auf die Agenten-Logik statt auf die Infrastruktur konzentrieren können. Die Apache-2.0-lizenzierte Rust-Codebasis und die benutzerdefinierten Kernel-Runtimes spiegeln diesen Engineering-First-Ansatz wider.
Die Geschwindigkeitszahlen – und das Kleingedruckte
Die Leistungsversprechen für Magnitude sind überzeugend, wenn auch konfigurationsabhängig. Auf einem M4 Pro zeigte ein getestetes 4-Bit 35B-Modell (z. B. Qwen 3.6 35B) bis zu 92 % schnellere Dekodierungsgeschwindigkeiten – ein Sprung von 30 auf 57 Tokens/Sekunde – und etwa 9 % schnelleres Prefill im Vergleich zu llama.cpp. Für NVIDIA CUDA-Setups, speziell die DGX Spark, meldete Magnitude eine etwa 19 % schnellere Dekodierung und 23 % schnellere Prefill-Leistung.
Diese Benchmarks sind keine universellen Garantien. Die Ergebnisse hängen stark von spezifischen Variablen ab: dem gewählten Modell, der Prompt-Länge, der Quantisierungsmethode, der Hardware-Architektur und der Arbeitslast selbst. Das On-Device-Tuning von Magnitude zeichnet sich dadurch aus, dass es optimale Kernel-Konfigurationen für die spezifische Maschine findet, aber allgemeine Benchmarks bieten einen Ausgangspunkt.
Ingenieure stehen vor Kompromissen. HN/A-optimierte Kernel bevorzugen oft populäre Architekturen wie Qwen oder Gemma, was bedeutet, dass Nischenmodelle möglicherweise geringere Leistungssteigerungen erzielen. Anhaltende Inferenz bei großen Modellen erzeugt zudem Wärme und beeinträchtigt die Akkulaufzeit, ein praktischer Aspekt für lokale KI. Für tiefere technische Einblicke und die laufende Entwicklung besuchen Sie das GitHub - magnitudedev/magnitude: Open source inference engine for agents Repository.
Der Ansatz von Magnitude zur dynamischen On-Device-Optimierung ist ein bedeutender Schritt über statische, verallgemeinerte Kernel hinaus und verschiebt die Grenzen für effiziente lokale KI.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Der eigentliche Test ist eine vollständige Agent-Sitzung
Agentenorientierte Speicherfunktionen zielen ebenfalls auf die iterative Natur von Agenten-Workloads ab. Prefix Caching verwendet wiederholte Systemanweisungen und Funktionsaufrufe wieder, um redundante Berechnungen über Schritte hinweg zu vermeiden. Die dynamische Speicherzuweisung zielt darauf ab, den Sitzungsspeicher freizugeben, wenn Aufgaben abgeschlossen sind, anstatt ihn bis zum Beenden des Prozesses zu halten.
Dieser Ansatz reduziert den Speicherbedarf Berichten zufolge um etwa 27 % pro gleichzeitigem Agenten. Obwohl dies eine vielversprechende, vom Anbieter gemeldete Zahl ist, wird eine Validierung in der Praxis über verschiedene Agenten-Workloads und Hardware hinweg entscheidend sein, um diesen Vorteil zu bestätigen. Speichereffizienz variiert, genau wie die Geschwindigkeit, oft erheblich je nach Anwendungsfall.
Letztendlich ist der wahre Test eine End-to-End-Agenten-Sitzung auf der eigenen Hardware. Testen Sie die spezifischen Modelle, die Sie bereitstellen möchten, und messen Sie die Gesamtzeit für den Abschluss komplexer Aufgaben sowie den gesamten Speicherverbrauch. Vergleichen Sie diese Ergebnisse mit Ihrer bestehenden lokalen Laufzeitumgebung.
Um mit der Evaluierung zu beginnen, erkunden Sie die unter Apache-2.0 lizenzierte Rust-Codebasis und Dokumentation von Magnitude. Das Projekt ist auf GitHub verfügbar und bietet vorkompilierte Binärdateien für Apple Silicon, NVIDIA CUDA, ROCm und CPU. Führen Sie Ihre eigenen Tests durch und sehen Sie, ob es für Ihre spezifischen Anforderungen wie behauptet funktioniert.
Häufig gestellte Fragen
Was ist Magnitude?
Magnitude ist eine Open-Source-Engine für lokale Inferenz, die entwickelt wurde, um KI-Modelle für Coding-Agenten auszuführen, mit hardwarebewusstem Tuning und agentenfokussierten Funktionen.
Wie passt sich Magnitude an Ihre Hardware an?
Es führt Benchmarks für verschiedene Kernel-Konfigurationen auf der Host-Maschine durch und wählt die Konfiguration aus, die für diese Hardware am besten funktioniert.
Kann Claude Code eine Verbindung zu einem lokal mit Magnitude ausgeführten Modell herstellen?
Ja. Magnitude stellt eine Anthropic-kompatible API auf localhost bereit, die es Claude Code ermöglicht, eine Verbindung zu einem unterstützten lokalen Modell herzustellen.
Macht Magnitude jedes lokale Modell schneller als llama.cpp?
Nein. Die berichteten Gewinne hängen von der Hardware und der Modellarchitektur ab; spezialisierte Kernel können unterstützten Modellen mehr nützen als weniger verbreiteten.