Что делает Needle 2
Needle 2 — небольшая языковая модель от Cactus Compute, созданная для одной задачи: превращать запрос на естественном языке в нужный вызов функции или извлекать из текста типизированные поля. Cactus выпустила её 9 августа 2026 года как модель на 45M параметров, сжатую примерно до 2 бит на вес и встроенную в собственный движок, так что вся модель — это один бинарный файл размером 14 MB с пиковым потреблением оперативной памяти в сессии около 28 MB. Она не ведёт диалог. Вы объявляете инструменты (функцию на Python с docstring или схему JSON), а Needle выбирает, какой из них вызвать, и заполняет аргументы; побайтовая грамматика, скомпилированная из ваших схем, ограничивает каждый токен, поэтому вывод всегда корректно разбирается. Каждый ответ сопровождается откалиброванной оценкой уверенности, поэтому приложение может выполнять действие при значении выше порога, а при значении ниже — передавать запрос дальше (например, облачной модели). Модуль поиска позволяет объявить большой каталог инструментов, при этом модели на каждом шаге показываются только пять наиболее подходящих.
По данным Cactus, Needle 2 декодирует около 500 токенов в секунду на Raspberry Pi 5, от 300 до 700 на телефонах дешевле 200 долларов, таких как Samsung A-Series, и работает на ARM64, x86-64, ARMv7, RISC-V и WebAssembly на платформах Apple, Windows, Linux, Android и Raspberry Pi, вплоть до микроконтроллеров, таких как ESP32. Устанавливается командой pip install cactus-needle. 17 сентября 2026 года Cactus выпустила Needle 3 — модель размером от 8 до 29 MB (от 29M до 121M параметров, любая глубина от 2 до 20 слоёв), которая добавляет текстовые эмбеддинги и работает в паре с речевой моделью Whistle от Cactus; текущий пакет по умолчанию запускает Needle 3, а Needle 2 остаётся доступной через generation=2 для существующих внедрений.
