Ce AI Engine utilise 10 fois moins de RAM

L'AI locale fait face à un goulot d'étranglement critique non pas dans la puissance de calcul brute, mais dans la gestion agressive de la mémoire par les systèmes d'exploitation mobiles. Ces systèmes sont notoirement rapides à terminer les applications qui présentent une utilisation élevée de la RAM, ce qui rend difficile l'exécution de modèles AI complexes directement sur les appareils sans qu'ils ne semblent lourds, énergivores ou sujets à des arrêts soudains. Ce défi fondamental a historiquement limité la portée de l'inférence sur l'appareil.

Cactus contourne cette limitation grâce à un nouveau système de zero-copy memory mapping. Au lieu de charger l'intégralité des poids d'un modèle AI dans la RAM, Cactus traite le stockage de l'appareil comme une extension de la mémoire. Il mappe directement les poids du modèle à partir du stockage, ne tirant que les tenseurs spécifiques requis pour le cycle de calcul actif. Cette approche permet aux appareils d'exploiter la puissance de raisonnement de grands modèles, tels qu'un modèle de 1,2 milliard de paramètres, avec une empreinte mémoire plus petite qu'un navigateur web, éliminant le risque de terminaison induite par l'OS.

Pour permettre ce mappage efficace, Cactus a développé son propre .cact format propriétaire. Ce format spécialisé remplace les formats de modèles AI locaux traditionnels comme GGUF, qui sont moins optimisés pour le mappage direct du stockage, en facilitant l'accès transparent et à la demande aux poids du modèle directement depuis le stockage flash. Le .cact format est crucial pour atteindre une inférence haute performance et à faible latence spécifiquement sur les puces mobiles et les appareils edge.

Les appareils mobiles abritent une ressource puissante, souvent inexploitée : la Neural Processing Unit (NPU). Des puces dédiées à l'accélération AI résident dans les puces modernes d'Apple, Qualcomm et MediaTek, spécifiquement conçues pour gérer les calculs complexes de réseaux neuronaux avec une efficacité inégalée. Pourtant, la plupart des moteurs d'inférence AI existants sous-utilisent ces unités spécialisées, se rabattant souvent sur des GPU et CPU à usage général moins efficaces.

Cactus change radicalement ce paradigme avec sa NPU-first architecture. Ce moteur communique directement avec le hardware NPU, contournant complètement les couches de traduction lentes et génériques qui limitent généralement les performances. Un tel accès direct libère tout le potentiel de ces cerveaux AI dédiés, permettant des vitesses d'inférence maximales et réduisant considérablement la latence pour les tâches AI sur l'appareil.

Les développeurs peuvent accéder à une sélection organisée de NPU-optimized models directement depuis le tableau de bord Cactus. Ces modèles sont méticuleusement ajustés pour exploiter les unités de multiplication matricielle spécifiques et les avantages hardware des diverses NPUs mobiles. Cette optimisation stratégique garantit que les applications construites avec Cactus peuvent exploiter pleinement la puissance inhérente de l'appareil, offrant des expériences AI supérieures.

Les modèles AI locaux, même ceux hautement optimisés fonctionnant sur des NPUs, rencontrent inévitablement un « plafond de raisonnement » sur les appareils edge. Cela confronte les développeurs à un choix difficile : privilégier une inférence locale rapide, privée et gratuite avec des limitations inhérentes, ou opter pour des API cloud intelligentes et performantes qui introduisent latence, coût et compromis en matière de confidentialité. Ce compromis force souvent des sacrifices soit dans l'expérience utilisateur, soit dans le budget opérationnel.

Cactus résout ce dilemme fondamental avec son ingénieux routeur hybride. Ce système utilise un mécanisme de routage basé sur la confiance, décidant intelligemment où traiter une requête. Les tâches simples, pour lesquelles le modèle local affiche une grande confiance, s'exécutent directement sur le NPU de l'appareil, garantissant rapidité, confidentialité et coût nul.

Cependant, si une tâche s'avère trop complexe ou exige une fenêtre de contexte étendue, le routeur hybride décharge automatiquement cette requête spécifique vers un modèle de pointe plus puissant dans le cloud. Cette stratégie adaptative offre le meilleur des deux mondes, garantissant des performances robustes pour tous les scénarios. Pour plus de détails sur ce moteur innovant, visitez Cactus - On-device AI for Smartphones, Laptops & Edge.

Les développeurs bénéficient d'une simplicité remarquable ; leur code d'application reste cohérent, car le moteur Cactus gère de manière transparente le basculement en arrière-plan. Cette conception optimise les coûts en maximisant le traitement local, améliore la confidentialité des utilisateurs et garantit une expérience utilisateur supérieure en gérant de manière transparente même les tâches d'IA les plus exigeantes sans nécessiter de logique conditionnelle supplémentaire.

"Ce nouveau moteur exécute l'IA locale" ne promet pas seulement l'efficacité ; il offre une vitesse indéniable pour les applications du monde réel. Un récent benchmark de Better Stack a présenté une application de transcription vocale en direct, construite à l'aide du package Swift Cactus, fonctionnant sur un ancien iPhone 12 pro. Ce test a fourni des informations cruciales sur les capacités de performance de l'inférence NPU-first, tirant directement parti du silicium neuronal dédié d'Apple.

La comparaison des performances était frappante et révélatrice. Le modèle local alimenté par NPU, utilisant le modèle vocal Parakeet, a atteint une latence moyenne impressionnante d'environ 260ms pour la transcription en direct. Cette performance sur un appareil plus ancien souligne l'optimisation radicale que Cactus réalise en communiquant directement avec le NPU, en contournant les couches de traduction traditionnelles.

En net contraste, le repli sur le cloud, utilisant Gemini 2.5 Flash pour une transcription par lots de 3 secondes, a affiché une moyenne d'environ 2000ms. Cette latence significative — huit fois plus lente — est une conséquence attendue de l'aller-retour nécessaire vers les serveurs de données distants. Malgré le potentiel du modèle cloud pour des calculs plus lourds, la surcharge réseau limite intrinsèquement sa réactivité pour les tâches critiques en temps réel.

Pour de nombreuses applications en temps réel, l'inférence optimisée sur l'appareil n'est pas seulement viable, mais manifestement plus rapide que les alternatives cloud. Le routeur hybride exploite intelligemment les API cloud pour les tâches très complexes ou celles nécessitant des fenêtres de contexte massives, servant de filet de sécurité intelligent. Cependant, sa force principale réside dans la poussée de l'IA haute performance directement vers la périphérie, garantissant une faible latence, une confidentialité améliorée et des coûts opérationnels réduits. L'IA locale devient le moteur principal, le cloud étant un auxiliaire puissant, mais plus lent.

Qu'est-ce que le moteur d'IA Cactus ?

Cactus est un moteur d'inférence à faible latence conçu pour exécuter efficacement de grands modèles d'IA sur des appareils périphériques comme les smartphones en utilisant beaucoup moins de RAM et de batterie.

Comment Cactus réduit-il l'utilisation de la RAM ?

Il utilise une technique de mappage mémoire sans copie (zero-copy memory mapping technique). Au lieu de charger un modèle entier dans la RAM, il mappe les poids du modèle directement depuis le stockage et ne charge en mémoire que les parties nécessaires pendant le calcul.

Que signifie 'architecture NPU-first' ?

Cela signifie que Cactus est conçu pour prioriser l'unité de traitement neuronal (NPU), une puce spécialisée dans les smartphones modernes pour les tâches d'IA. Cela permet une inférence plus rapide et plus efficace en contournant les couches logicielles plus lentes.

Qu'est-ce que le Cactus Hybrid Router ?

Le Hybrid Router est une fonctionnalité qui bascule intelligemment entre l'exécution d'une tâche sur l'appareil local et son envoi à un puissant modèle cloud. Il prend cette décision en fonction de la complexité de la tâche, optimisant la vitesse, le coût et les capacités.