Votre montre est désormais un cerveau IA

Un modèle Falcon H1 de 90 millions de paramètres a récemment fonctionné entièrement hors ligne sur une Apple Watch Series 6 de 2020, modifiant fondamentalement notre compréhension de l'IA sur appareil. Cette démonstration, réalisée sur un appareil portable sorti il y a quatre ans, prouve qu'une intelligence artificielle sophistiquée peut fonctionner indépendamment du cloud, directement depuis votre poignet. Cela représente un véritable pas vers une IA omniprésente et privée.

Les mesures de performance obtenues étaient véritablement surprenantes, en particulier pour un appareil de ce format. L'Apple Watch Series 6 a généré du texte à un taux moyen de 15 jetons par seconde, un rythme remarquablement fluide pour une inférence locale. Cette vitesse constitue un avantage de performance stupéfiant de 50x par rapport à un Raspberry Pi de première génération, qui rampait auparavant à seulement 0,3 jeton par seconde lors de l'exécution d'un modèle d'IA similaire.

Ce fossé massif de performance reflète directement les spécifications matérielles nettement plus robustes de la Series 6 par rapport à son homologue à faible consommation. L'Apple Watch Series 6 intègre un puissant processeur dual-core à 1,8 GHz et une RAM substantielle de 1 Go. Ces spécifications surpassent facilement le cœur unique plus modeste de 700 MHz et les 512 Mo de RAM du Raspberry Pi 1, expliquant de manière décisive la disparité spectaculaire de puissance de traitement et le « choc de performance » observé.

L'efficacité remarquable de Falcon H1 provient de son architecture hybride. Il combine de manière unique des couches d'attention standard—les piliers de la plupart des grands modèles de langage—avec un nouveau modèle d'espace d'état connu sous le nom de Mamba 2. Cette conception à deux composants est la clé de ses performances compactes sur du matériel contraint comme une Apple Watch.

Mamba 2 excelle dans l'efficacité de la mémoire. Au lieu d'accumuler un grand cache clé-valeur croissant comme l'attention traditionnelle, Mamba 2 fonctionne avec un état de mémoire de taille fixe. Il met à jour cet état jeton par jeton, décidant dynamiquement quelles informations conserver ou remplacer. Ce processus de « scan » garantit que, qu'il traite un jeton ou mille, l'empreinte mémoire reste constante, ce qui le rend exceptionnellement adapté aux appareils avec une RAM limitée.

Ce choix architectural explique pourquoi le framework Core ML d'Apple ne prend pas en charge Falcon H1. Core ML nécessite un graphe de calcul fixe et prédéfini, optimisé pour les opérations statiques. La structure de « scan » dynamique et séquentielle de Mamba 2, où le calcul de chaque étape repose sur l'état précédent, crée une dépendance de boucle que Core ML ne peut pas gérer nativement. Le framework manque tout simplement d'un bloc de construction pour ce type de calcul d'espace d'état.

En contournant les frameworks natifs d'Apple, le projet a tiré parti d'une version compilée sur mesure de Llama.cpp. Cette bibliothèque d'inférence populaire prend généralement en charge iOS et macOS, mais WatchOS nécessitait des drapeaux de construction spécifiques et une protection de source d'une ligne pour permettre la compilation. Core ML, le framework ML sur appareil d'Apple, s'est avéré inadapté à Falcon H1 en raison de son architecture hybride Mamba 2, qui manque de blocs de construction Core ML directs.

Crucial pour ce déploiement sur WatchOS était le ciblage de l'architecture ARM64_32. Malgré son nom, il ne s'agit pas d'un jeu d'instructions 32 bits plus lent. Au lieu de cela, il utilise le jeu d'instructions ARM 64 bits complet, y compris l'unité vectorielle Neon pour le traitement par lots des opérations mathématiques, garantissant aucune dégradation des performances en termes de vitesse de calcul.

WatchOS utilise des pointeurs mémoire 32 bits. Sur un système 64 bits standard, les adresses mémoire font 64 bits de long, mais sur la montre, elles font la moitié de cette taille. Cette conception permet d'économiser de la RAM dans tout le système, une optimisation critique pour les appareils dotés d'une mémoire limitée.

Cependant, ce schéma d'adressage 32 bits impose un plafond strict de 2 Go de RAM. Cette limitation de mémoire empêche l'exécution de modèles à plusieurs milliards de paramètres, car ils ne peuvent tout simplement pas adresser suffisamment de mémoire. Pourtant, Falcon H1, avec seulement 57 Mo, s'intègre parfaitement dans cette contrainte, démontrant la viabilité des modèles compacts sur des objets connectés aux ressources limitées. Pour plus de détails sur le matériel de l'appareil, consultez les Apple Watch Series 6 - Caractéristiques techniques.

L'application de preuve de concept sur l'Apple Watch Series 6 a transcendé le simple exploit technique, offrant un assistant IA entièrement fonctionnel. Elle a intégré de manière robuste la saisie vocale native et a démontré une utilisation pratique d'outils, permettant aux utilisateurs d'interroger Wikipédia pour obtenir des faits ou de vérifier la météo locale. Cela a prouvé l'utilité du modèle bien au-delà d'un simple benchmark, répondant instantanément à des questions comme « Quelle est la capitale de la France ? ».

Bien que les requêtes courtes et directes aient souvent donné des vitesses impressionnantes — jusqu'à 24 jetons par seconde avec le modèle Falcon H1 — les limites inhérentes à l'appareil sont devenues évidentes avec des demandes plus complexes. La génération de réponses plus longues, sur plusieurs paragraphes, a sensiblement dégradé les performances. Cela a mis en évidence les contraintes de mémoire et de traitement du matériel de 2020, spécifiquement le plafond d'adressage mémoire d'environ 2 Go de l'architecture ARM64_32.

Ce déploiement réussi, bien que contraint, sur du matériel grand public vieux de plusieurs années pose une question fondamentale aux fabricants d'appareils, en particulier Apple. Si un projet amateur peut débloquer des capacités significatives de LLM local en temps réel sur une Apple Watch, pourquoi les modèles d'IA embarqués à usage général ne sont-ils pas encore une fonctionnalité standard et intégrée sur les nouveaux appareils ? La faisabilité technique semble désormais indéniable.

Quel LLM a été utilisé sur l'Apple Watch ?

Un modèle de 90 millions de paramètres appelé Falcon H1 a été utilisé. Il est petit et très efficace grâce à son architecture hybride combinant des couches d'attention traditionnelles avec un modèle d'espace d'état Mamba 2.

À quelle vitesse le LLM a-t-il fonctionné sur l'Apple Watch ?

Le modèle Falcon H1 a fonctionné à une moyenne de 15 jetons par seconde, avec des vitesses atteignant jusqu'à 24 jetons/sec pour des requêtes simples. C'est environ 50 fois plus rapide que l'exécution d'un modèle similaire sur un Raspberry Pi 1.

Pourquoi le Core ML d'Apple ne peut-il pas exécuter le modèle Falcon H1 ?

Le framework Core ML d'Apple ne prend pas nativement en charge le composant de modèle d'espace d'état (Mamba 2) de l'architecture de Falcon H1. Core ML attend un graphe de calcul fixe, ce qui est en conflit avec la nature séquentielle et en boucle de Mamba.

Qu'est-ce que l'ARM64_32 sur l'Apple Watch ?

Il s'agit d'une variante de l'architecture ARM64 où les adresses mémoire sont en 32 bits au lieu de 64 bits. Cela permet d'économiser de la mémoire sur un appareil avec une RAM limitée, mais crée également un plafond strict de 2 Go, ce qui le rend inadapté aux très grands modèles. Le jeu d'instructions 64 bits de base reste entièrement intact.