Der 50-fache Performance-Schock
Ein Falcon H1-Modell mit 90 Millionen Parametern lief kürzlich komplett offline auf einer Apple Watch Series 6 von 2020 und hat unser Verständnis von On-Device-KI grundlegend verändert. Diese Demonstration, die auf einem vor vier Jahren veröffentlichten Wearable durchgeführt wurde, beweist, dass hochentwickelte künstliche Intelligenz unabhängig von der Cloud direkt von deinem Handgelenk aus arbeiten kann. Dies stellt einen echten Schritt in Richtung allgegenwärtiger, privater KI dar.
Die erreichten Leistungskennzahlen waren wirklich verblüffend, insbesondere für ein Gerät dieses Formfaktors. Die Apple Watch Series 6 generierte Text mit einer durchschnittlichen Geschwindigkeit von 15 Tokens pro Sekunde, ein bemerkenswert flüssiges Tempo für lokale Inferenz. Diese Geschwindigkeit stellt einen erstaunlichen 50-fachen Leistungsvorteil gegenüber einem Raspberry Pi der ersten Generation dar, der bei der Ausführung eines ähnlichen KI-Modells zuvor mit nur 0,3 Tokens pro Sekunde dahin kroch.
Diese massive Leistungskluft spiegelt direkt die deutlich robusteren Hardwarespezifikationen der Series 6 im Vergleich zu ihrem stromsparenden Gegenstück wider. Die Apple Watch Series 6 integriert eine leistungsstarke Dual-Core 1,8 GHz CPU und beachtliche 1 GB RAM. Diese Spezifikationen übertreffen den bescheideneren Single-Core mit 700 MHz und 512 MB RAM des Raspberry Pi 1 bei weitem, was den dramatischen Unterschied in der Rechenleistung und den beobachteten "Performance-Schock" schlüssig erklärt.
Das Geheimrezept: Warum Falcon funktioniert
Die bemerkenswerte Effizienz von Falcon H1 beruht auf seiner Hybrid-Architektur. Sie kombiniert auf einzigartige Weise Standard-Attention-Layer – die Arbeitstiere der meisten Large Language Models – mit einem neuartigen State Space Model, bekannt als Mamba 2. Dieses Design mit zwei Komponenten ist der Schlüssel zu seiner kompakten Leistung auf eingeschränkter Hardware wie einer Apple Watch.
Mamba 2 zeichnet sich durch Speichereffizienz aus. Anstatt einen großen, wachsenden Key-Value-Cache wie bei herkömmlicher Attention anzuhäufen, arbeitet Mamba 2 mit einem Speicherzustand fester Größe. Es aktualisiert diesen Zustand Token für Token und entscheidet dynamisch, welche Informationen beibehalten oder überschrieben werden sollen. Dieser "Scan"-Prozess stellt sicher, dass der Speicherbedarf konstant bleibt, egal ob ein oder tausend Tokens verarbeitet werden, was es außergewöhnlich gut für Geräte mit begrenztem RAM geeignet macht.
Diese architektonische Entscheidung erklärt, warum Apples eigenes Core ML-Framework Falcon H1 nicht unterstützt. Core ML erfordert einen festen, vordefinierten Berechnungsgraphen, der auf statische Operationen optimiert ist. Die dynamische, sequentielle "Scan"-Struktur von Mamba 2, bei der die Berechnung jedes Schrittes vom vorherigen Zustand abhängt, erzeugt eine Schleifenabhängigkeit, die Core ML nativ nicht verarbeiten kann. Dem Framework fehlt schlicht ein Baustein für diese Art der State-Space-Berechnung.
Die Watch hacken: ARM64_32 erklärt
Unter Umgehung der nativen Apple-Frameworks nutzte das Projekt eine benutzerdefinierte, kompilierte Version von Llama.cpp. Diese beliebte Inferenz-Bibliothek unterstützt normalerweise iOS und macOS, aber WatchOS erforderte spezifische Build-Flags und einen einzeiligen Source-Guard, um die Kompilierung zu ermöglichen. Core ML, Apples On-Device-ML-Framework, erwies sich aufgrund der hybriden Mamba 2-Architektur, der die direkten Core ML-Bausteine fehlen, als ungeeignet für Falcon H1.
Entscheidend für diesen WatchOS-Einsatz war die Ausrichtung auf die ARM64_32-Architektur. Trotz des Namens handelt es sich nicht um einen langsameren 32-Bit-Befehlssatz. Stattdessen nutzt er den vollständigen 64-Bit-ARM-Befehlssatz, einschließlich der Neon-Vektoreinheit für das Batching von mathematischen Operationen, wodurch sichergestellt wird, dass keine Leistungseinbußen bei der Rechengeschwindigkeit auftreten.
WatchOS verwendet 32-Bit-Speicherzeiger. Auf einem Standard-64-Bit-System sind Speicheradressen 64 Bit lang, aber auf der Watch sind sie nur halb so groß. Dieses Design spart systemweit RAM, eine entscheidende Optimierung für Geräte mit begrenztem Speicher.
Dieses 32-Bit-Adressierungsschema erzwingt jedoch eine harte 2GB RAM-Obergrenze. Diese Speicherbeschränkung verhindert das Ausführen von Modellen mit mehreren Milliarden Parametern, da sie schlichtweg nicht genug Speicher adressieren können. Falcon H1 passt jedoch mit seinen gerade einmal 57 MB perfekt in diesen Rahmen und demonstriert die Machbarkeit kompakter Modelle auf ressourcenbeschränkten Wearables. Weitere Details zur Hardware des Geräts finden Sie in den Apple Watch Series 6 - Technischen Daten.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Wenn alte Technik das kann, warum warten?
Die Proof-of-Concept-App auf der Apple Watch Series 6 war mehr als nur ein technisches Experiment; sie lieferte einen voll funktionsfähigen KI-Assistenten. Sie integrierte robust native Spracheingabe und demonstrierte praktische Werkzeugnutzung, wodurch Benutzer Wikipedia nach Fakten abfragen oder das lokale Wetter prüfen konnten. Dies bewies den Nutzen des Modells weit über einen einfachen Benchmark hinaus und beantwortete Anfragen wie „Was ist die Hauptstadt von Frankreich?“ nahezu sofort.
Während kurze, direkte Anfragen oft beeindruckende Geschwindigkeiten lieferten – bis zu 24 Token pro Sekunde mit dem Falcon H1-Modell –, wurden die inhärenten Einschränkungen des Geräts bei komplexeren Anfragen deutlich. Das Generieren längerer, mehrabsätziger Antworten verschlechterte die Leistung spürbar. Dies legte die Speicher- und Verarbeitungsbeschränkungen der 2020er Hardware offen, insbesondere die etwa 2 GB große Speicheradressierungsgrenze der ARM64_32-Architektur.
Dieser erfolgreiche, wenn auch eingeschränkte Einsatz auf jahrealter Consumer-Hardware wirft eine grundlegende Frage für Gerätehersteller auf, insbesondere für Apple. Wenn ein Hobbyprojekt signifikante, lokale Local LLM-Fähigkeiten in Echtzeit auf einer Apple Watch freischalten kann, warum sind KI-Modelle für allgemeine Zwecke auf dem Gerät noch kein Standard-Feature bei neuen Geräten? Die technische Machbarkeit scheint nun unbestreitbar.
Häufig gestellte Fragen
Welches LLM wurde auf der Apple Watch verwendet?
Es wurde ein Modell mit 90 Millionen Parametern namens Falcon H1 verwendet. Es ist klein und aufgrund seiner hybriden Architektur, die traditionelle Attention-Layer mit einem Mamba 2 State-Space-Modell kombiniert, äußerst effizient.
Wie schnell lief das LLM auf der Apple Watch?
Das Falcon H1-Modell lief mit durchschnittlich 15 Token pro Sekunde, wobei bei einfachen Anfragen Geschwindigkeiten von bis zu 24 Token/Sek. erreicht wurden. Das ist etwa 50-mal schneller als der Betrieb eines ähnlichen Modells auf einem Raspberry Pi 1.
Warum kann Apples Core ML das Falcon H1-Modell nicht ausführen?
Apples Core ML-Framework unterstützt die State-Space-Modell-Komponente (Mamba 2) der Architektur von Falcon H1 nicht nativ. Core ML erwartet einen festen Berechnungsgraphen, was im Widerspruch zur sequenziellen, schleifenartigen Natur von Mamba steht.
Was ist ARM64_32 auf der Apple Watch?
Es ist eine Variante der ARM64-Architektur, bei der Speicheradressen 32-Bit statt 64-Bit sind. Dies spart Speicher auf einem Gerät mit begrenztem RAM, schafft aber auch eine harte 2GB-Obergrenze, was es für sehr große Modelle ungeeignet macht. Der grundlegende 64-Bit-Befehlssatz bleibt vollständig erhalten.