Dieses Tool führt Datacenter-KI auf Ihrem PC aus

Riesige KI-Modelle, insbesondere Mixture of Experts (MoE)-Modelle, stellen eine einzigartige Herausforderung für Consumer-GPUs dar. Betrachten wir DeepSeek V4-Flash: Es verfügt über beeindruckende 284 Milliarden Gesamtparameter. Doch für jedes einzelne Token wird nur ein winziger Bruchteil – etwa 13 Milliarden – aktiv genutzt. Während dieser aktive Teil auf viele GPUs passen könnte, müssen die gesamten 284 Milliarden Parameter irgendwo gespeichert sein, typischerweise im System-RAM, da man nicht weiß, welche Experten als Nächstes benötigt werden.

Traditionelle Inference-Engines wie Ollama haben mit dieser dynamischen Realität zu kämpfen. Wenn ein MoE-Modell den VRAM Ihrer GPU überschreitet – zum Beispiel ein 38 GB großes Qwen 3.6 35B-Modell auf einer 32 GB-Karte –, greift Ollama auf eine statische Lösung zurück. Es teilt das Modell permanent auf und lagert Schichten auf die CPU aus (z. B. 30 % auf die CPU, 70 % auf die GPU). Das bedeutet, dass jedes einzelne Token, unabhängig davon, welche Experten es benötigt, jede Schicht durchlaufen muss, was einen langsamen Umweg über die CPU für einen erheblichen Teil erzwingt. In Tests ergab dies lediglich 58 Token pro Sekunde.

FreeToken bietet einen grundlegend anderen Ansatz. Es verzichtet auf statische Platzierung und definiert das Problem als dynamisches Scheduling neu. Der VRAM Ihrer GPU wird zu einem intelligenten Cache für häufig abgerufene Experten, während das vollständige Modell im System-RAM verbleibt; nur die aktuell benötigten Experten werden bei Bedarf auf die GPU gestreamt. Dieses dynamische, cache-basierte System ist wesentlich besser für MoE-Modelle geeignet, die oft dieselben Experten über verschiedene Token hinweg wiederverwenden, wodurch die Berechnung auf der schnelleren GPU bleibt.

FreeToken überdenkt, wie Ihr PC mit massiven Mixture of Experts-Modellen umgeht. Anstatt zu versuchen, die gesamten 284 Milliarden Parameter von DeepSeek V4-Flash auf Ihre GPU zu quetschen, behandelt FreeToken Ihren GPU VRAM als Hochgeschwindigkeits-Cache. Das vollständige Modell lebt im System-RAM, wobei nur die zuletzt verwendeten Experten dynamisch in den VRAM geladen werden. Da Modelle Experten oft über Token hinweg wiederverwenden, reduziert diese Strategie den Speicherverkehr drastisch.

Wenn Sie zum ersten Mal einen Prompt senden (die „Prefill“-Phase), müssen Modelle normalerweise auf viele Experten zugreifen, was die Geschwindigkeit verlangsamen kann. FreeToken verwendet Double Buffering, um diese Latenz zu verbergen. Während Ihre GPU die aktuelle Schicht verarbeitet, streamt das Tool gleichzeitig die Experten der nächsten Schicht vom System-RAM über PCIe, wodurch die GPU beschäftigt bleibt und Leerlaufzeiten vermieden werden.

Während der eigentlichen Generierung tritt ein Cache-Miss auf, wenn sich ein Experte nicht auf der GPU befindet. Dann greift die intelligente Q*-Policy von FreeToken. Sie misst automatisch die spezifischen PCIe- und RAM-Geschwindigkeiten Ihres PCs und entscheidet spontan, ob es schneller ist, den fehlenden Experten auf die GPU zu ziehen oder ihn direkt auf der CPU zu berechnen. Diese dynamische Aufteilung optimiert die Leistung für Ihre individuelle Hardware, egal ob Sie eine schmale PCIe-Anbindung oder schnellen RAM haben.

Hat FreeToken also seine Versprechen gehalten? Das Video unterzog es einem echten Praxistest und ließ es gegen Ollama in einem anspruchsvollen Szenario antreten: ein 38 GB großes Mixture of Experts-Modell auf einer Consumer-GPU mit nur 32 GB VRAM. Dieses Setup ist speziell darauf ausgelegt, traditionelle Inference-Engines an ihre Grenzen zu bringen, indem sie gezwungen werden, einen erheblichen Teil des Modells auf den langsameren System-RAM auszulagern.

In dieser Situation teilt Ollama das Modell schichtweise auf und verlagert etwa 30 % auf die CPU. Das bedeutet, dass jedes einzelne Token für bestimmte Schichten einen Umweg über die langsame CPU nimmt, was zu erheblichen Engpässen führt. Infolgedessen kroch Ollama durch die Aufgabe und benötigte über 14 Minuten und 20 Sekunden bei trägen 58 Token pro Sekunde.

FreeToken hingegen erledigte exakt dieselbe Aufgabe in schnellen 4 Minuten und 40 Sekunden und lieferte beeindruckende 132 Token pro Sekunde. Das ist eine fast dreifache Geschwindigkeitssteigerung, die einen erheblichen Unterschied für jeden macht, der größere Modelle lokal ausführt, bei denen die Modellgröße den GPU-VRAM übersteigt.

Die intelligente Caching-Strategie von FreeToken wurde ebenfalls live demonstriert. Das Tool ermöglicht es, den GPU-Expert-Cache im laufenden Betrieb anzupassen, was visuell beweist, dass ein kleiner Teil der 'heißen' Experten die meiste Arbeit leistet. Forscher beobachteten, dass eine Reduzierung des Caches von 58 % auf 40 % der gesamten Modellgröße nur zu einem Geschwindigkeitsverlust von 7 % führte. Dies bestätigt die Kernidee: Oft werden nur 20-40 % der Experten des Modells aktiv genutzt, was die Effizienz der dynamic caching-Methode von FreeToken unterstreicht. Für tiefere Einblicke in die technische Implementierung können Sie das Projekt unter GitHub - FlashML-org/FreeToken: FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently. erkunden.

FreeToken ist kein Zauberstab für jede KI-Aufgabe. Die beeindruckenden Geschwindigkeitsvorteile zeigen sich nur, wenn Ihr mixture of experts model die VRAM-Kapazität Ihrer GPU übersteigt. Denken Sie an den entscheidenden Videotest: ein 38-GB-Modell auf einer 32-GB-GPU, ein Szenario, das darauf ausgelegt ist, herkömmliche Inference-Engines an ihre Grenzen zu bringen.

Bei kleineren Modellen sieht die Sache jedoch anders aus. Ein 4-Bit-quantisiertes Modell zum Beispiel, das bequem in Ihren 32 GB VRAM passt, läuft auf Ollama tatsächlich schneller. Das Video zeigte in diesem Fall 240 Token pro Sekunde mit Ollama gegenüber 225 Token pro Sekunde bei FreeToken. Die ausgefeilte Streaming-Architektur von FreeToken, die für VRAM-Überlastungen konzipiert ist, wird zu reinem Overhead, wenn nichts mehr aus dem System-RAM gestreamt werden muss.

Hier ist also der direkte Rat: Wenn Ihr Modell vollständig auf Ihre GPU passt, bleiben Sie für eine optimale Leistung bei Ollama oder Llama.cpp. Nur wenn Sie diese massiven mixture of experts models im Rechenzentrumsmaßstab ausführen möchten, die sonst nicht auf Ihre Consumer-Hardware passen würden, sollten Sie zu FreeToken wechseln. Es erschließt und beschleunigt diese zuvor unerreichbaren Modelle drastisch.

Was ist FreeToken?

FreeToken ist eine Open-Source-Inference-Engine, die speziell dafür entwickelt wurde, große Mixture of Experts (MoE) KI-Modelle effizient auf Consumer-Hardware auszuführen, und dient als leistungsstarke Alternative zu Tools wie Ollama oder Llama.cpp für diese spezifische Aufgabe.

Wie macht FreeToken KI-Modelle schneller?

Anstatt Modellschichten dauerhaft zwischen CPU und GPU aufzuteilen, behandelt FreeToken den GPU-VRAM als dynamischen Cache für die am häufigsten verwendeten 'Experten'. Es nutzt intelligentes Scheduling, Double Buffering und adaptive CPU-GPU-Co-Execution, um die Latenz bei der Datenübertragung zu minimieren, insbesondere wenn das Modell größer als der verfügbare VRAM ist.

Ist FreeToken immer schneller als Ollama?

Nein. Der Hauptvorteil von FreeToken zeigt sich, wenn ein MoE-Modell zu groß ist, um in den VRAM Ihrer GPU zu passen. Wenn ein Modell bequem in den VRAM passt, sind Ollama oder Llama.cpp wahrscheinlich schneller, da die Streaming-Architektur von FreeToken unnötigen Overhead verursacht.

Auf welche Arten von Modellen ist FreeToken spezialisiert?

FreeToken wurde speziell für Mixture of Experts (MoE)-Modelle wie DeepSeek-V4-Flash, Qwen3.6-35B und GLM-5.2 entwickelt. Die Architektur ist darauf optimiert, die für diese Modelle einzigartige dynamische Aktivierung von 'Experts' zu verarbeiten.