KI-Werkzeug

oMLX Review

Name: oMLX
Availability: OnlineOnly
Author: Stork.AI

oMLX ist ein nativer macOS LLM inference server, der auf Apples MLX framework basiert und continuous batching sowie einen zweistufigen KV cache mit einer OpenAI/Anthropic-kompatiblen API bietet.

shipped 31. Mai 2026freemium

Domain rating46Monthly visits523/moAI-readableblocked

Warum es wichtig ist

1oMLX ist ein nativer macOS LLM inference server, der auf Apples MLX framework basiert und für Apple Silicon (M1/M2/M3/M4) Geräte optimiert ist.

2Er bietet continuous batching und einen zweistufigen (unified-memory + SSD) KV cache, was die Leistung verbessert und eine schnellere lokale Ausführung großer Sprachmodelle ermöglicht.

3Der Server bietet eine OpenAI/Anthropic-kompatible API, wodurch er als Drop-in-Backend für KI-Programmierassistenten wie Claude Code, Cursor und OpenClaw fungieren kann.

4Benchmarks zeigen, dass oMLX eine Cache-Effizienz von 89 % und eine durchschnittliche Generierungsgeschwindigkeit von 47 tokens pro Sekunde erreichte, als ein Qwen 3.6 35-Milliarden-Parameter 4-bit Modell auf einem M2 MacBook Pro ausgeführt wurde.

Stork’s verdict on oMLX

oMLX glänzt beim lokalen Ausführen großer Modelle auf Apple Silicon mit seinem two-tier KV cache, ist aber ausschließlich für macOS und MLX-native Modelle.

oMLX reviewed by Stork AI · stork.ai/de/omlx

Über oMLX

Plattformen

macOS

Spezifikationen

API-Dokumentation

Dokumentation ansehen →

API verfügbar

Ja, öffentliche API

Screenshots

overview

Was ist oMLX?

oMLX ist ein lokales LLM inference server Tool, das von oMLX.ai entwickelt wurde und es Entwicklern, KI-Forschern und Mac-Benutzern mit Apple Silicon ermöglicht, große Sprachmodelle lokal mit verbesserter Leistung auszuführen. Es nutzt continuous batching und einen zweistufigen KV cache (RAM + SSD), um die lokale Ausführung von KI-Modellen zu optimieren. Speziell für Apple Silicon Macs entwickelt, fungiert oMLX als spezialisierte AI inference engine, die verschiedene machine learning Modelle unterstützt, darunter text LLMs, vision-language models (VLMs), OCR models, embedding models und rerankers direkt auf dem Gerät des Benutzers. Die Verwaltung ist in die macOS menu bar integriert und bietet eine native Benutzererfahrung.

features

Hauptmerkmale von oMLX

oMLX wurde mit mehreren Kernfunktionen entwickelt, die darauf abzielen, die lokale AI inference auf Apple Silicon Macs zu optimieren, wobei der Fokus auf Leistung, Kompatibilität und Benutzererfahrung liegt. Diese Funktionen ermöglichen die effiziente Ausführung komplexer KI-Workloads direkt auf dem Gerät des Benutzers.

Nativer macOS inference server, der auf Apples MLX framework basiert.
Continuous batching für optimierten Durchsatz und reduzierte Latenz während der inference.
Zweistufiger (unified-memory + SSD) KV cache, der sowohl einen RAM hot cache als auch einen persistenten SSD cold cache bietet.
OpenAI/Anthropic-kompatible API für eine breite Integration mit bestehenden KI-Tools und Workflows.
Möglichkeit, lokale Modelle auf Apple Silicon (M1/M2/M3/M4) Geräten auszuführen.
Direkt über die macOS menu bar verwaltet für bequeme Steuerung und Überwachung.
Fungiert als Drop-in API backend für KI-Programmierassistenten wie Claude Code, OpenClaw und Cursor.
Unterstützt die gleichzeitige Bereitstellung und den Betrieb mehrerer Modelltypen, einschließlich LLM, VLM, embedding und reranker Modelle.
Enthält einen dynamisch anpassenden memory guard (v0.3.12) zur Optimierung der Speicherverwaltung auf Macs mit wenig Arbeitsspeicher.

use cases

Wer sollte oMLX verwenden?

oMLX wurde für spezifische Benutzergruppen entwickelt, die leistungsstarke, lokale AI inference Funktionen auf Apple Silicon Macs benötigen. Seine Funktionen richten sich an Entwickler, Forscher und Benutzer, die Datenschutz und eine effiziente lokale Modellausführung priorisieren.

Entwickler und Programmierer: Bietet low-latency lokale model inference für KI-Programmierassistenten (z.B. Claude Code, Cursor, OpenClaw), um Coding Workflows zu beschleunigen.
KI-Forscher und Experimentatoren: Erleichtert die Modellforschung und -experimente, einschließlich des Benchmarking verschiedener MLX Modelle mit integrierten Tools.
Mac-Benutzer mit Apple Silicon und begrenztem RAM: Suchen optimierte lokale LLM Funktionen, die tiered caching nutzen, um Speicherbeschränkungen zu überwinden.
Benutzer mit datenschutzsensiblen KI-Anwendungen: Ermöglicht die lokale Ausführung von LLMs und anderen KI-Modellen, um sicherzustellen, dass Daten auf dem Gerät verbleiben, was Sicherheit und Compliance verbessert.
AI Agent Entwickler und Benutzer: Gleichzeitiges Bereitstellen und Betreiben mehrerer Modelltypen (LLM, VLM, embedding, reranker Modelle) für komplexe Echtzeit-Reasoning-Anwendungen.

how to use

So verwendest du oMLX

oMLX ist für die unkomplizierte Bereitstellung auf Apple-Silicon-Macs konzipiert und wird primär über seine native macOS-Menüleisten-App verwaltet. Nutzer können Modelle und Servereinstellungen direkt über diese Oberfläche konfigurieren und dabei die OpenAI/Anthropic-compatible API nutzen.

1Lade die native macOS-App oMLX (v0.4.0 oder neuer) von omlx.ai herunter und installiere sie.
2Öffne das oMLX-Symbol in der Menüleiste, um den Serverstatus zu verwalten, MLX-kompatible Modelle zu laden und Einstellungen zu konfigurieren.
3Lade die gewünschten MLX-kompatiblen Modelle über die Oberfläche der App, die verschiedene Modelltypen unterstützt.
4Konfiguriere den Endpunkt der OpenAI/Anthropic-compatible API in deinen KI-Programmierassistenten (z. B. Claude Code, Cursor), sodass sie auf den lokalen oMLX-Server verweisen.
5Überwache die Serverleistung, die Effizienz der KV cache und die Modellaktivität über das web dashboard oder die Statusanzeigen in der Menüleiste.
6Nutze die integrierten Benchmark-Tools, um die Modellleistung auf bestimmten Apple-Silicon-Hardwarekonfigurationen zu bewerten.

pricing

oMLX Preise & Pläne

oMLX basiert auf einem Freemium-Modell und bietet Kernfunktionen kostenlos an. Spezifische Details zu Premium-Stufen oder erweiterten Funktionen, die eine Zahlung erfordern, sind nicht öffentlich detailliert, aber die grundlegenden inference server Funktionen sind für Benutzer zugänglich.

Freemium: Kernfunktionen des inference servers kostenlos verfügbar.

Pros

+Hochgradig für Apple-Silicon-Macs (M1/M2/M3/M4) optimiert und nutzt Apples natives MLX-Framework für effiziente Inferenz.
+Die zweistufige KV cache (unified-memory + SSD) erweitert den nutzbaren Speicher erheblich und ermöglicht es, größere Modelle auf Macs mit begrenztem physischem RAM auszuführen.
+Persistentes SSD-Caching reduziert die Time To First Token (TTFT) bei nachfolgenden Anfragen in langen Coding-Sessions drastisch von 30-90 Sekunden auf unter 5 Sekunden.
+Erreicht hohe Leistung mit gemeldeten Geschwindigkeiten von 47 tokens/second und 89% Cache-Effizienz bei einem Modell mit 35B Parametern auf einem M2 MacBook Pro.
+Bietet eine OpenAI/Anthropic-compatible API und ist damit ein direkt einsetzbares Drop-in-Backend für beliebte KI-Coding-Assistenten wie Claude Code und Cursor.
+Die native macOS-App mit Menüleisten-Verwaltung und web dashboard verbessert die Nutzererfahrung und die Kontrolle über den lokalen Inferenzserver.

Cons

−Ausschließlich für macOS und Apple Silicon konzipiert, was die Kompatibilität mit anderen Betriebssystemen oder Hardwareplattformen einschränkt.
−Konzentriert sich primär auf MLX-native Modelle, wodurch für andere gängige Formate (z. B. GGUF), die nicht direkt unterstützt werden, möglicherweise eine Modellkonvertierung erforderlich ist.
−Frühere Versionen wiesen anfängliche Instabilität auf, darunter kernel panics und Out-Of-Memory-Fehler (OOM), auch wenn die Entwicklung fortlaufend ist (z. B. Verbesserungen in v0.4.0+).
−Das freemium-Modell impliziert mögliche künftige kostenpflichtige Stufen oder erweiterte Funktionen, die derzeit nicht verfügbar sind, was die Zugänglichkeit verändern könnte.
−Erfordert grundlegendes Verständnis von lokaler LLM-Inferenz, API-Konfiguration und Modellverwaltung für eine optimale Einrichtung und Nutzung.

Ähnliche Tools

oMLX vs. Wettbewerber

oMLX hebt sich im lokalen LLM inference Markt durch seine spezialisierte Optimierung für Apple Silicon und seine einzigartige Caching-Architektur ab. Es konkurriert mit mehreren etablierten Tools, die jeweils unterschiedliche Stärken und Zielgruppen bieten.

MLX Studio↗

MLX Studio extends oMLX's core features with a 5-layer caching stack, image generation, and a suite of agentic tools, all free for Apple Silicon.

MLX Studio offers a more comprehensive suite of features than oMLX, including image generation and a deeper caching stack, while also being free for Apple Silicon Macs.

MaicOn Stork

Maic is a high-performance, MLX-optimized local LLM server for Apple Silicon with a modern web-based chat interface and real-time monitoring.

Like oMLX, Maic is built on Apple's MLX framework for Apple Silicon and provides an OpenAI-compatible API, but it additionally offers a built-in web-based chat interface and one-click model downloads.

OllamaOn Stork Compare

Ollama simplifies running large language models locally with a focus on ease of use and a broad model library, often utilizing the GGUF format and llama.cpp.

While oMLX focuses on MLX-native optimization and advanced caching for Apple Silicon, Ollama provides a more general, easy-to-use CLI and API for running a wide range of models (primarily GGUF via llama.cpp) across various operating systems, including macOS.

llama.cppOn Stork

llama.cpp is a foundational project that enables efficient LLM inference on consumer hardware, particularly with GGUF models and Metal acceleration on macOS, and provides a production-ready HTTP server with an OpenAI-compatible API.

llama.cpp serves as a highly flexible and performant backend for many local LLM applications, including those on macOS, offering a command-line interface and an OpenAI-compatible API. Unlike oMLX's specific MLX framework focus and menu bar app, llama.cpp is a lower-level library and server, providing maximum control and broader model format support (GGUF).

Mehr auf Stork