Das 20GB-Modell in Ihrem 8GB-iPhone
KI-Forscher haben kürzlich eine bemerkenswerte Leistung vollbracht: Sie haben das große Sprachmodell Qwen 3.5, ein 35-Milliarden-Parameter-Gigant, direkt auf einem Standard-iPhone bereitgestellt. Dies ist nicht nur eine Demonstration; das Modell liefert nutzbare 11 Tokens pro Sekunde und verwandelt ein Gerät im Taschenformat in eine leistungsstarke lokale KI-Engine.
Ein solches Modell erfordert normalerweise enormen Speicherplatz. Ein 35B-Parameter-Modell benötigt, selbst wenn es auf 4-Bit-Präzision quantisiert ist, etwa 20 Gigabyte (GB) RAM. Dies übersteigt bei weitem den physischen Speicher der meisten Mobilgeräte, der oft bei 8 GB liegt, was eine grundlegende Barriere für On-Device-KI darstellt.
Die Überwindung dieser Einschränkung hängt von der Mixture of Experts (MoE)-Architektur ab. Im Gegensatz zu herkömmlichen dichten Modellen, bei denen jeder Parameter für jede Berechnung aktiviert wird, werden MoE-Modelle spärlich aktiviert. Für jede Eingabe wählt eine 'Router'-Komponente intelligent nur eine kleine Teilmenge spezialisierter 'Experten' innerhalb des Modells aus und aktiviert diese.
Diese spärliche Aktivierung verändert das Speichermanagement grundlegend. Anstatt das gesamte 20 GB große Modell in den RAM zu laden, müssen nur die aktuell aktiven Experten sowie wesentliche Komponenten wie Aufmerksamkeitsmechanismen im aktiven Speicher verbleiben. Dies reduziert den Echtzeit-Speicherbedarf erheblich und ermöglicht es, den Großteil des Modells auf langsamerem, größerem Speicher wie der SSD des iPhones zu belassen, bis er benötigt wird.
SSD-zu-GPU: Die On-Demand-Experten-Pipeline
Das Ausführen eines 35B-Parameter-LLM auf dem begrenzten Speicher eines iPhones erfordert eine clevere Strategie zur Speicherpartitionierung. Ein kompakter 1,4 GB großer Kern wesentlicher Modellkomponenten bleibt im RAM resident und umfasst:
- Embeddings
- Aufmerksamkeitsmechanismen
- Router
- Einen geteilten Experten
Die restlichen 12 GB, bestehend aus den 40 Experten-Dateien des Modells (jeweils etwa 300 MB), befinden sich auf der Hochgeschwindigkeits-SSD des iPhones.
Für jedes generierte Token initiiert das System einen dynamischen Abrufprozess. Ein interner Router wählt pro Schicht acht spezifische Experten aus den 256 Optionen des Modells über alle 40 Schichten hinweg aus. Die Engine liest diese ausgewählten Experten-Dateien dann direkt von der SSD in den GPU-Speicher. Dies führt zu etwa 320 kleinen Lesezugriffen pro Token, wodurch sichergestellt wird, dass nur die notwendigen Parameter für die sofortige Berechnung geladen werden.
Dieses On-Demand-Experten-Streaming reduziert den aktiven Speicherbedarf drastisch. Während das Qwen 3.5-Modell über 35 Milliarden Parameter verfügt, sind für jedes einzelne Token nur etwa 3 Milliarden aktiv. Eine solch effiziente Ressourcenzuweisung ist der Schlüssel zum Betrieb eines Modells dieser Größenordnung auf Consumer-Hardware, wobei die SSD als erweiterter Hochgeschwindigkeits-"virtueller RAM" für die überwiegende Mehrheit der inaktiven Parameter genutzt wird.
Warum Apples Betriebssystem einen benutzerdefinierten Cache überlistet hat
Entwickler implementierten ursprünglich einen beträchtlichen 9,8 GB großen benutzerdefinierten Cache innerhalb ihrer Anwendung, um Experten-Daten zu verwalten. Kontraintuitiv führte das Löschen dieses maßgeschneiderten Systems und das stattdessen erfolgende Vertrauen auf den nativen iOS-Seiten-Cache zu einem bemerkenswerten Leistungszuwachs von 38 %. Dieses unerwartete Ergebnis unterstreicht ein grundlegendes Prinzip des Betriebssystemdesigns.
Die Zuweisung eines so großen, festen RAM-Blocks für den exklusiven Cache der App erwies sich als nachteilig. Diese Strategie entzog unbeabsichtigt zwei kritischen Systemressourcen die Grundlage: der GPU, die erheblichen Speicher für Berechnungen benötigt, und den eigenen hochentwickelten, dynamischen Caching-Mechanismen des Betriebssystems. Die explizite Speicherreservierung der App konkurrierte im Wesentlichen mit dem Betriebssystem, anstatt es zu ergänzen.
Der iOS page cache erwies sich als der heimliche Held, der freien RAM dynamisch verwaltet. Er speichert häufig abgerufene Experten intelligent im Arbeitsspeicher und antizipiert zukünftige Anforderungen. Dieses System ist weitaus effizienter, passt sich den allgemeinen Systemanforderungen an und stellt eine optimale Speicherzuweisung über alle Prozesse hinweg sicher, ohne dass die App eine Vorabzuweisung benötigt.
Das Erfüllen der anspruchsvollen Leseanforderungen von über 5 GB/s ist entscheidend, um 11 Tokens pro Sekunde aufrechtzuerhalten. Der physische Flash-Speicher des iPhone erreicht jedoch Spitzenwerte von etwa 1,6 GB/s. Folglich orchestriert das Betriebssystem den Großteil der Experten-Lesezugriffe direkt aus dem RAM über seinen page cache, ein kritischer Faktor für Modelle wie die Qwen 3.5 A3B-Variante. Erfahren Sie mehr über die Architektur unter Qwen3.5-35B-A3B - ModelScope.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Intelligentere Komprimierung und reale Kühlkörper
Um diese iPhone-native Leistung zu erreichen, war zudem ein nuancierter Ansatz bei der Modellkomprimierung erforderlich: tiered quantization. Entwickler beobachteten, dass etwa 25 % der 'Experten' des Mixture of Experts (MoE)-Modells rund 80 % der Arbeit erledigten. Diese häufig abgerufenen "heißen" Experten behalten eine hochwertigere 4-Bit-Präzision bei, wodurch kritische Informationen bewahrt werden.
Im Gegensatz dazu unterliegen die verbleibenden, weniger genutzten "kalten" Experten einer tieferen Komprimierung, die ihre Größe auf nur 2-Bit reduziert. Diese intelligente differenzierte Behandlung reduziert den gesamten Speicherbedarf des Modells um beachtliche 34 % und schrumpft es von ursprünglich 19 GB auf 13 GB.
Diese signifikante Reduzierung der Festplattengröße wirkt sich direkt auf die Leistung aus, da mehr Gewichte des Qwen 3.5-Modells im effizienten iOS page cache verbleiben können. Mehr Daten im schnellen Arbeitsspeicher unterzubringen, trägt wesentlich zur beobachteten Generierungsgeschwindigkeit von 11 Tokens pro Sekunde bei und minimiert die Abhängigkeit von langsameren SSD-Lesezugriffen.
Eine derart intensive, anhaltende Berechnung auf einem kompakten Mobilgerät erzeugt zwangsläufig erhebliche Wärme; Nutzer berichten, dass das iPhone spürbar heiß wird, laut einem Entwickler sogar so sehr, dass es "durch meine Hand schmilzt". Dies unterstreicht die praktischen thermischen Herausforderungen, wenn man KI-Inferenz auf Consumer-Hardware an ihre Grenzen bringt.
Darüber hinaus stießen Entwickler auf einen kritischen Fehler, bei dem das Modell in einer Endlosschleife stecken blieb und nach wenigen Wörtern Tokens wiederholte. Die Funktion async_pread_wait, die für das Lesen von Expertendaten vom Speicher zuständig ist, erforderte eine dringende Korrektur. Sie versäumte es anfangs, Lesezugriffe für die halb so großen 2-Bit "kalten" Experten korrekt zu validieren, übersprang diese stillschweigend und führte das Modell effektiv mit unvollständigen Informationen aus. Die Korrektur dieses Versäumnisses war entscheidend für eine stabile, kohärente Ausgabe.
Häufig gestellte Fragen
Was ist die grundlegende Technik, die es ermöglicht, ein 35B-Modell auf einem iPhone auszuführen?
Die Technik nutzt eine Mixture of Experts (MoE)-Modellarchitektur. Anstatt das gesamte 20 GB große Modell in den RAM zu laden, verbleibt nur ein kleiner 1,4 GB großer Kern im Speicher, während die restlichen 'Experten' des Modells bei Bedarf von der schnellen SSD des Telefons gestreamt werden, sobald sie für die Generierung jedes Tokens benötigt werden.
Welches Modell wurde in der Demonstration verwendet?
In der Demonstration wurde Qwen 3.5 verwendet, ein Mixture of Experts-Modell mit 35 Milliarden Parametern. Speziell handelt es sich um die A3B-Variante, was bedeutet, dass für jedes einzelne Token nur etwa 3 Milliarden Parameter aktiv sind.
Was ist ein Mixture of Experts (MoE)-Modell?
Ein MoE ist eine neuronale Netzwerkarchitektur, bei der das Modell aus vielen kleineren 'Experten'-Netzwerken besteht. Für jede Eingabe wählt ein Routing-Mechanismus eine kleine Teilmenge dieser Experten aus, um sie zu verarbeiten. Diese spärliche Aktivierung macht sie äußerst effizient für die Inferenz.
Welche Leistung wurde auf dem iPhone erzielt?
Das Setup erreichte eine Generierungsgeschwindigkeit von 11 Tokens pro Sekunde. Dieses Verarbeitungsniveau führte jedoch dazu, dass das iPhone sehr schnell spürbar heiß wurde.