Ce que fait Needle 2
Needle 2 est un petit modèle de langage de Cactus Compute conçu pour une seule tâche : transformer une requête en langage courant en l'appel de fonction approprié, ou extraire des champs typés d'un texte. Cactus l'a publié le 9 août 2026 sous la forme d'un modèle de 45M de paramètres compressé à environ 2 bits par poids et intégré à son propre moteur, de sorte que l'ensemble tient dans un unique binaire de 14 MB, avec une RAM de session maximale d'environ 28 MB. Il ne converse pas. Vous déclarez des outils (une fonction Python avec une docstring, ou un schéma JSON), et Needle choisit lesquels appeler et renseigne les arguments ; une grammaire au niveau de l'octet, compilée à partir de vos schémas, contraint chaque token, de sorte que la sortie est toujours analysable. Chaque réponse s'accompagne d'un score de confiance calibré : une application peut ainsi agir au-dessus d'un seuil et escalader (par exemple vers un modèle cloud) en dessous. Une tête de récupération permet de déclarer un vaste catalogue d'outils tout en ne présentant au modèle que les cinq meilleurs outils à chaque tour.
Cactus indique que Needle 2 décode environ 500 tokens par seconde sur un Raspberry Pi 5, de 300 à 700 sur des téléphones à moins de 200 $ tels que la gamme Samsung A-Series, et qu'il fonctionne sur ARM64, x86-64, ARMv7, RISC-V et WebAssembly sur Apple, Windows, Linux, Android et Raspberry Pi, jusqu'aux microcontrôleurs tels que l'ESP32. Il s'installe avec pip install cactus-needle. Le 17 septembre 2026, Cactus a publié Needle 3, un modèle de 8 à 29 MB (29M à 121M de paramètres, toute profondeur de 2 à 20 couches) qui ajoute les embeddings de texte et s'associe au modèle vocal Whistle de Cactus ; le package actuel exécute Needle 3 par défaut et maintient Needle 2 disponible avec generation=2 pour les déploiements existants.
