Утка подчиняется, но только если вы скажете «пожалуйста»
Симулированная робот-утка ходит, танцует или реагирует только тогда, когда ИИ-мозг объемом 15 МБ под названием Needle 3 сопоставляет запрос на естественном языке с одним из пяти доступных инструментов. Эта демонстрация от Better Stack показывает специально настроенную версию компактной базовой модели Cactus Compute, управляющую виртуальной Open Duck Mini — моделью с физической симуляцией.
Needle 3 — это не чат-бот; она не ведет беседу и не управляет механикой ходьбы утки. Вместо этого за движения утки отвечает отдельный обученный контроллер, а Needle выбирает действие (например, идти, повернуться, выразить эмоцию, танцевать, покачать головой). Конкретная задача модели — распределять эти инструменты, даже реагируя на такие нюансы, как требование слова «пожалуйста» для выполнения команд.
Такой узкоспециализированный дизайн позволяет модели быть невероятно маленькой и эффективной. 4-слойная версия, использованная в демо, занимает всего 15 мегабайт, что делает ее пригодной для локального запуска на периферийных устройствах. Этот эксперимент подчеркивает преимущества edge AI, где ограниченная диспетчеризация инструментов может работать офлайн, обеспечивая мгновенный отклик на устройстве без подключения к облаку.
Модель Needle 3 от Cactus Compute, входящая в семейство моделей для вызова инструментов, варьируется от 8 до 29 МБ. Ее архитектура «лестницы интеллекта» позволяет разработчикам выбирать часть модели из 121 миллиона параметров (с вычислительной мощностью, эквивалентной 50 млн параметров), чтобы адаптировать ее под различное оборудование, от смартфонов до микроконтроллеров. Это открывает возможности для локального ИИ в таких устройствах, как умное кольцо Pebble Index 01.
Одна модель, адаптированная под устройство
Needle 3 представляет «лестницу интеллекта» — 20-слойную модель, разработанную для гибкого развертывания. Разработчики могут взять любой фрагмент (префикс) от 2 до 20 слоев, и каждый из них будет функционировать как самостоятельная модель. Это позволяет одной загрузке модели обслуживать разнообразное оборудование, от крошечных микроконтроллеров до более мощных смартфонов.
Полная версия Needle 3 содержит 121 миллион параметров, что является значительным скачком по сравнению с 45 миллионами у Needle 2. Однако более половины этих параметров находятся в n-граммной таблице поиска. По данным Cactus Compute, такой выбор архитектуры минимизирует количество арифметических операций, приближая фактический вычислительный профиль к модели с 50 миллионами параметров.
Эта архитектура создает прямой компромисс: большие фрагменты предлагают расширенные возможности, а меньшие подходят для устройств с жесткими аппаратными ограничениями. Needle специально разработана как диспетчер вызова инструментов, а не для свободных диалогов. Она превосходно справляется с сопоставлением команд на естественном языке с предопределенным набором действий, извлечением параметров в структурированный JSON или генерацией текстовых эмбеддингов для локального поиска.
Ее целевая функция обеспечивает поразительную эффективность. Например, Cactus сообщает, что 4-слойная версия с 29 миллионами параметров может превзойти DeepSeek V4 Flash в определенных задачах после дообучения. Эта специализация позволяет Needle 3 работать на устройствах с ограниченными ресурсами, таких как умное кольцо Pebble Index 01, выполняя голосовые команды офлайн.
Обучение манерам на 1700 примерах
Обучение робота-утки манерам потребовало четкого набора правил для пяти доступных инструментов: идти, повернуться, выразить эмоцию, танцевать и покачать головой. Утку научили:
- Подчиняться запросам, содержащим «пожалуйста».
- Отказывать на грубые команды, качая головой.
- Выражать гнев в ответ на оскорбления или угрозы, даже если было сказано «пожалуйста».
- Реагировать на драматические события без необходимости в слове «пожалуйста».
- Не вызывать инструмент для задач, которые она не может выполнить, например, для установки таймера.
Чтобы привить эти модели поведения, создатель сгенерировал около 1 700 обучающих примеров. Каждый пример сопоставлял запрос на естественном языке с желаемым ответом инструмента, гарантируя, что модель усвоила базовые концепции, а не просто заучила фразы. Например, «притворись испуганным, пожалуйста» соответствовало эмодзи испуга, в то время как «мне нужно, чтобы ты напомнил мне купить молоко» не приводило к вызову функции, так как она не существует.
Отдельный набор из 49 написанных вручную запросов был отложен для проверки способности модели к обобщению, чтобы убедиться, что она может применять усвоенные «манеры» в новых ситуациях. Подробнее о базовой технологии см. Needle 3 - Foundation Model for Tiny Devices - Cactus Compute.
Процесс дообучения (fine-tuning) проходил на рабочей станции с RTX 5090. Обучение полной 20-слойной модели Needle 3 заняло около 12,5 минут, в то время как меньшая 4-слойная версия (около 15 мегабайт) завершила обучение примерно за 5 минут. Ключевым недостатком такого локального дообучения стала потеря показателя уверенности модели (confidence score) — функции, обычно доступной на хостинговой платформе Cactus Compute.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Крошечная модель побеждает — с небольшим отрывом
Результаты на отложенной выборке наглядно показали преимущество дообучения. Базовая, не прошедшая дообучение модель Needle 3 набрала лишь 13 из 49 баллов на тестовых запросах. Дообученная полная 20-слойная модель достигла результата 41 из 49, что является значительным улучшением.
Примерно 15-мегабайтная четырехслойная версия набрала 30 из 49 баллов — достойный результат для такого размера, но все же значительно ниже, чем у полной модели. Эта уменьшенная модель иногда неверно интерпретировала несвязанные запросы, выдавая странную реакцию, или не могла распознать гнев утки на оскорбления. Производительность сильно зависит от конкретной задачи и качества обучающих примеров.
Эти неудачи сглаживают общую картину: хотя возможности маленькой модели впечатляют, они не универсальны. Ее успех с манерами утки подчеркивает ее специализированный дизайн как диспетчера вызовов инструментов (tool-calling dispatcher), а не как движка для общих рассуждений.
Главный вывод для edge AI заключается в потенциале специализированных, локально запускаемых диспетчеров. Они могут эффективно выполнять конкретные, ограниченные задачи на небольших устройствах. Однако заявления о результатах бенчмарков и впечатляющие демо не следует путать с широкими способностями к рассуждению или гарантированной производительностью продукта.
Часто задаваемые вопросы
Что такое Needle 3?
Needle 3 — это компактная модель от Cactus Compute, предназначенная для отправки структурированных вызовов инструментов на устройствах с ограниченными ресурсами, а не для работы в качестве обычного чат-бота.
Как Needle 3 может поместиться в 15-мегабайтную модель?
Ее 20-слойная модель может быть разделена на меньшие автономные версии. В демо с уткой использовалась дообученная четырехслойная версия размером около 15 МБ.
Чему дообучение научило робоутку?
Оно научило утку отвечать на вежливые просьбы, отклонять прямые команды, реагировать на грубость или драматические ситуации и игнорировать запросы, выходящие за рамки ее возможностей.
Насколько хорошо показала себя дообученная модель утки?
На 49 написанных вручную тестовых запросах четырехслойная модель набрала 30 правильных ответов по сравнению с 13 у не дообученной модели и 41 у дообученной 20-слойной версии.