Skip to content

Обзор Needle 2

Needle 2 — бесплатная модель Cactus Compute на 45M параметров для вызова инструментов на устройстве и извлечения структурированных данных: бинарный файл 14 MB, работающий примерно в 28 MB оперативной памяти. В сентябре 2026 года её заменила Needle 3.

Freemium · API

Вердикт Stork: Needle 2

Needle 2 показывает, как далеко может зайти модель для вызова инструментов размером 14 MB на недорогом оборудовании, но новым проектам стоит начинать с Needle 3 и проверять точность на собственных инструментах.

Needle 2 reviewed by Stork AI · stork.ai/ru/needle-2

stork
Я картина.
Одна неподвижная картина и одна напечатанная фраза.
Эту картину никто не снимал на видео.
Фото, рисунок, картина или 3D-персонаж. От $0.10 за минуту. Попробуйте бесплатно.
Оживить фотоРазработчикам: есть API

Что делает Needle 2

Needle 2 — небольшая языковая модель от Cactus Compute, созданная для одной задачи: превращать запрос на естественном языке в нужный вызов функции или извлекать из текста типизированные поля. Cactus выпустила её 9 августа 2026 года как модель на 45M параметров, сжатую примерно до 2 бит на вес и встроенную в собственный движок, так что вся модель — это один бинарный файл размером 14 MB с пиковым потреблением оперативной памяти в сессии около 28 MB. Она не ведёт диалог. Вы объявляете инструменты (функцию на Python с docstring или схему JSON), а Needle выбирает, какой из них вызвать, и заполняет аргументы; побайтовая грамматика, скомпилированная из ваших схем, ограничивает каждый токен, поэтому вывод всегда корректно разбирается. Каждый ответ сопровождается откалиброванной оценкой уверенности, поэтому приложение может выполнять действие при значении выше порога, а при значении ниже — передавать запрос дальше (например, облачной модели). Модуль поиска позволяет объявить большой каталог инструментов, при этом модели на каждом шаге показываются только пять наиболее подходящих.

По данным Cactus, Needle 2 декодирует около 500 токенов в секунду на Raspberry Pi 5, от 300 до 700 на телефонах дешевле 200 долларов, таких как Samsung A-Series, и работает на ARM64, x86-64, ARMv7, RISC-V и WebAssembly на платформах Apple, Windows, Linux, Android и Raspberry Pi, вплоть до микроконтроллеров, таких как ESP32. Устанавливается командой pip install cactus-needle. 17 сентября 2026 года Cactus выпустила Needle 3 — модель размером от 8 до 29 MB (от 29M до 121M параметров, любая глубина от 2 до 20 слоёв), которая добавляет текстовые эмбеддинги и работает в паре с речевой моделью Whistle от Cactus; текущий пакет по умолчанию запускает Needle 3, а Needle 2 остаётся доступной через generation=2 для существующих внедрений.

Цены на Needle 2

ВариантЦенаЧто входит
Веса и движок Needle 2Бесплатно, Apache License 2.0Бинарный файл модели на Hugging Face, пакет Python cactus-needle, исходный код и код обучения на GitHub
Needle 3 (актуальная модель)Бесплатно, Apache License 2.0Тот же пакет; веса, контрольная точка для дообучения и движки для каждой платформы на Hugging Face
Индивидуальное дообучение или гибридные контрольные точки от CactusЦена не опубликована; обращайтесь в отдел продажCactus предлагает дообучение и дополнительное обучение по запросу через контактную форму «Talk to us»

Платы за каждый вызов нет: модель работает на вашем собственном устройстве, без подключения к сети. Cactus не публикует страницу с ценами.

Цены проверены на сайте поставщика 3 ноября 2026 года. См. cactuscompute.com и карточку модели Needle 2.

Ключевые возможности

Что указано в публикации Cactus о выпуске Needle 2 и в карточке модели:

  • 45M параметров при примерно 2 битах на вес (CQ2-bit), бинарный файл 14 MB, около 28 MB оперативной памяти в сессии
  • Автономность: модель встроена в бинарный файл, без загрузок во время работы и без подключения к сети
  • Вызов инструментов и извлечение структурированных данных с выводом в виде JSON, ограниченного грамматикой, скомпилированной из ваших схем
  • Откалиброванная оценка уверенности в каждом ответе для маршрутизации по принципу «выполнить или передать дальше»
  • Поиск инструментов: большие каталоги, на каждом шаге показываются пять лучших инструментов
  • Скользящее окно в 256 токенов с закреплёнными инструментами, поэтому объём памяти остаётся постоянным в длинных сессиях
  • Работает на ARM64, x86-64, ARMv7, RISC-V и WebAssembly; пакет Python cactus-needle
  • Песочница в браузере для проверки примеров инструментов до интеграции

Для кого Needle 2 подходит лучше всего

Needle подходит разработчикам, которые встраивают голосовое или текстовое управление в недорогое или автономное оборудование: устройства умного дома, носимые устройства, роботов, бюджетные телефоны, проекты на Raspberry Pi и микроконтроллеры, где универсальная LLM не поместится, а задача состоит в сопоставлении фразы с известным набором функций. Это не чат-бот, и общих знаний у неё практически нет. Для новых проектов начинайте с Needle 3, которую Cactus теперь рекомендует и которая запускается из того же пакета; используйте Needle 2 только если она уже используется в вашем продукте и вы хотите сохранить прежнее поведение.

Если вам нужна несколько более крупная малая модель общего назначения, обратите внимание на семейство Gemma от Google (включая FunctionGemma, с которой Cactus проводит сравнение). Для запуска собственных моделей PyTorch на телефонах см. ExecuTorch; для коммерческого голосового управления на устройстве с ключевыми словами активации и распознаванием намерений — Picovoice.

Что говорят пользователи

Реакция была неоднозначной. В материале Developers Digest о запуске на Show HN говорится, что комментаторам понравились размер модели и демонстрация в браузере, но они публиковали уверенные, но ошибочные вызовы из демо (например, запрос сделать в комнате теплее приводил к установке термостата в режим охлаждения) и ставили под сомнение подачу результатов тестов. По приведённым там данным самой Cactus, Needle 2 набрала 42.6 на BFCL v4 single-turn против 46.1 у FunctionGemma 270M, 60.8 у LFM2.5 230M и 61.7 у Apple FM, при этом работая с 2-битными весами против их 16-битных. В публикации в блоге Raspberry Pi, написанной командой Cactus Compute, показано, как модель управляет светодиодами и считывает температуру CPU на Pi 5 примерно за 80–110 мс на вызов. Проверьте её на собственном наборе инструментов, прежде чем полагаться на неё.

Плюсы

  • Компактность: бинарный файл 14 MB, около 28 MB оперативной памяти, работа только на CPU
  • Бесплатные веса под лицензией Apache-2.0; полностью автономная работа
  • Вывод всегда корректно разбирается благодаря грамматике, скомпилированной из схемы
  • Оценка уверенности упрощает переход на облачную модель при необходимости
  • Работает на телефонах, Raspberry Pi, в браузерах (WebAssembly) и на микроконтроллерах

Минусы

  • Заменена моделью Needle 3; сохраняется в основном для существующих внедрений
  • По результатам BFCL v4 single-turn уступает более крупным малым моделям
  • Тестировавшие модель при запуске сообщали об уверенных, но ошибочных вызовах инструментов
  • Нет возможностей универсального чата и общих знаний о мире

Частые вопросы

Что такое Needle 2?

Модель на 45M параметров от Cactus Compute для вызова инструментов на устройстве, управления устройствами и извлечения структурированных данных. Поставляется в виде одного бинарного файла размером 14 MB, который работает примерно в 28 MB оперативной памяти без подключения к сети и возвращает JSON, ограниченный грамматикой, а также оценку уверенности.

Бесплатна ли Needle 2?

Да. В карточке модели Needle 2 на Hugging Face указана лицензия Apache License 2.0, а код доступен на GitHub. Платы за каждый вызов нет, поскольку модель работает на вашем собственном устройстве. Цена на индивидуальную дообучающую работу Cactus не опубликована.

В чём разница между Needle 2 и Needle 3?

Needle 3, выпущенная 17 сентября 2026 года, — это модель размером от 8 до 29 MB (от 29M до 121M параметров, глубина настраивается от 2 до 20 слоёв), которая добавляет текстовые эмбеддинги и работает с речевой моделью Whistle. Тот же пакет cactus-needle по умолчанию запускает Needle 3; чтобы сохранить Needle 2, передайте generation=2.

На каких устройствах можно запустить Needle 2?

Cactus указывает сборки для ARM64, x86-64, ARMv7, RISC-V и WebAssembly на платформах Apple, Windows, Linux, Android и Raspberry Pi. Компания приводит около 500 токенов в секунду при декодировании на Raspberry Pi 5, от 300 до 700 на телефонах дешевле 200 долларов, а также микроконтроллеры, такие как ESP32.

Может ли Needle 2 вести диалог или отвечать на вопросы?

Нет. Cactus сознательно жертвует способностью к общему диалогу ради вызова инструментов и извлечения данных. Модель сопоставляет запрос с объявленными вами функциями и возвращает пустой список для запросов не по теме, а не пытается угадать.

Насколько точна Needle 2?

Cactus сообщает, что в тестах вызова инструментов модель показывает результаты, сопоставимые с FunctionGemma 270M, LFM2.5 230M и Apple FM, при этом она меньше в 5–70 раз. На BFCL v4 single-turn она набрала 42.6, что ниже, чем у этих трёх моделей. Тестировавшие при запуске на Hacker News сообщали об уверенных, но ошибочных вызовах, поэтому проверяйте модель на собственных инструментах.

Сравнить альтернативы

Needle 2

Freemium · API

Из блога Stork

Нравится статья? Получайте такие каждое утро на почту.

одно письмо в день · отписка в два клика · без сторонних трекеров