Skip to content

Análise do Needle 2

O Needle 2 é o modelo gratuito de 45M de parâmetros da Cactus Compute para chamada de ferramentas no dispositivo e extração estruturada: um binário de 14 MB que roda com cerca de 28 MB de RAM. O Needle 3 o substituiu em setembro de 2026.

Freemium · API

Veredito da Stork sobre Needle 2

O Needle 2 mostra até onde um modelo de chamada de ferramentas de 14 MB pode chegar em hardware barato, mas novos projetos devem começar pelo Needle 3 e testar a precisão com as suas próprias ferramentas.

Needle 2 reviewed by Stork AI · stork.ai/pt/needle-2

stork
Eu sou uma pintura.
Uma pintura parada e uma frase digitada.
Esta pintura nunca foi filmada.
Uma foto, um desenho, uma pintura ou um personagem 3D. A partir de $0.10 por minuto. Teste grátis.
Faça uma foto falarDesenvolvedores: existe uma API

O que o Needle 2 faz

O Needle 2 é um modelo de linguagem pequeno da Cactus Compute criado para uma única função: transformar uma solicitação em linguagem natural na chamada de função correta, ou extrair campos tipados de um texto. A Cactus o lançou em 9 de agosto de 2026 como um modelo de 45M de parâmetros comprimido a cerca de 2 bits por peso e incorporado ao seu próprio mecanismo, de modo que tudo se resume a um único binário de 14 MB, com pico de RAM por sessão em torno de 28 MB. Ele não conversa. Você declara as ferramentas (uma função Python com docstring ou um esquema JSON), e o Needle escolhe qual chamar e preenche os argumentos; uma gramática em nível de byte, compilada a partir dos seus esquemas, restringe cada token, de modo que a saída sempre pode ser interpretada. Cada resposta traz uma pontuação de confiança calibrada, de modo que um aplicativo pode agir acima de um limite e escalar (por exemplo, para um modelo na nuvem) abaixo dele. Um cabeçote de recuperação permite declarar um catálogo grande de ferramentas, enquanto apenas as cinco principais são mostradas ao modelo a cada turno.

A Cactus afirma que o Needle 2 decodifica cerca de 500 tokens por segundo em um Raspberry Pi 5, de 300 a 700 em celulares abaixo de US$ 200, como os da linha Samsung A-Series, e roda em ARM64, x86-64, ARMv7, RISC-V e WebAssembly em Apple, Windows, Linux, Android e Raspberry Pi, chegando a microcontroladores como o ESP32. A instalação é feita com pip install cactus-needle. Em 17 de setembro de 2026, a Cactus lançou o Needle 3, um modelo de 8 a 29 MB (29M a 121M de parâmetros, qualquer profundidade de 2 a 20 camadas) que adiciona embeddings de texto e funciona em conjunto com o modelo de voz Whistle da Cactus; o pacote atual executa o Needle 3 por padrão e mantém o Needle 2 disponível com generation=2 para implantações existentes.

Preços do Needle 2

OpçãoPreçoIncluído
Pesos e mecanismo do Needle 2Gratuito, Apache License 2.0Binário do modelo no Hugging Face, pacote Python cactus-needle, código-fonte e código de treinamento no GitHub
Needle 3 (modelo atual)Gratuito, Apache License 2.0Mesmo pacote; pesos, um checkpoint ajustável por fine-tuning e mecanismos por plataforma no Hugging Face
Fine-tuning personalizado ou checkpoints híbridos da CactusPreço não publicado; entre em contato com a equipe de vendasA Cactus oferece fine-tuning e pós-treinamento sob demanda por meio de um contato "Talk to us"

Não há cobrança por chamada: o modelo roda no seu próprio dispositivo, offline. A Cactus não publica uma página de preços.

Preços verificados no site do fornecedor em 3 de novembro de 2026. Veja cactuscompute.com e o model card do Needle 2.

Principais recursos

O que a publicação de lançamento e o model card do Needle 2 da Cactus listam:

  • 45M de parâmetros a cerca de 2 bits por peso (CQ2-bit), binário de 14 MB, cerca de 28 MB de RAM por sessão
  • Autocontido: modelo incorporado ao binário, sem downloads em tempo de execução e sem necessidade de rede
  • Chamada de ferramentas e extração estruturada, retornadas como JSON restrito por uma gramática compilada a partir dos seus esquemas
  • Pontuação de confiança calibrada em cada resposta para roteamento entre agir ou escalar
  • Recuperação de ferramentas: catálogos grandes, com as cinco principais ferramentas exibidas por turno
  • Janela deslizante de 256 tokens com ferramentas fixadas, de modo que a memória permanece estável em sessões longas
  • Roda em ARM64, x86-64, ARMv7, RISC-V e WebAssembly; pacote Python cactus-needle
  • Sandbox no navegador para testar ferramentas de exemplo antes da integração

Para quem o Needle 2 é mais indicado

O Needle é indicado para desenvolvedores que criam controle por voz ou texto em hardware barato ou offline: dispositivos de casa inteligente, wearables, robôs, celulares de baixo custo, projetos com Raspberry Pi e microcontroladores, onde um LLM de uso geral não cabe e a tarefa é mapear uma frase para um conjunto conhecido de funções. Não é um chatbot e não tem conhecimento geral que se destaque. Para novos projetos, comece pelo Needle 3, que a Cactus agora recomenda e que roda a partir do mesmo pacote; use o Needle 2 apenas se você já o distribui e quer manter o comportamento inalterado.

Se você precisa de um modelo pequeno de uso geral um pouco maior, veja a família Gemma do Google (incluindo o FunctionGemma, com o qual a Cactus faz comparações). Para executar seus próprios modelos PyTorch em celulares, veja o ExecuTorch; para voz comercial no dispositivo com palavras de ativação e reconhecimento de intenção, o Picovoice.

O que dizem os usuários

A reação foi mista. Um artigo do Developers Digest sobre o lançamento no Show HN diz que os comentaristas gostaram do tamanho e da demonstração no navegador, mas publicaram chamadas erradas feitas com confiança na demonstração (por exemplo, um pedido para deixar um cômodo mais quente que definiu o termostato para resfriar) e questionaram como os benchmarks foram apresentados. Segundo os números da própria Cactus citados ali, o Needle 2 obteve 42,6 no BFCL v4 de turno único, contra 46,1 do FunctionGemma 270M, 60,8 do LFM2.5 230M e 61,7 do Apple FM, enquanto opera a 2 bits contra os pesos de 16 bits desses modelos. Uma publicação no blog da Raspberry Pi, escrita pela equipe da Cactus Compute, mostra o modelo controlando LEDs e lendo a temperatura da CPU em um Pi 5 em cerca de 80 a 110 ms por chamada. Teste-o com o seu próprio conjunto de ferramentas antes de confiar nele.

Prós

  • Minúsculo: binário de 14 MB, cerca de 28 MB de RAM, roda apenas na CPU
  • Pesos gratuitos Apache-2.0; funciona totalmente offline
  • A saída sempre pode ser interpretada, graças à gramática compilada a partir do esquema
  • A pontuação de confiança facilita a configuração de um fallback para a nuvem
  • Roda em celulares, Raspberry Pis, navegadores (WebAssembly) e microcontroladores

Contras

  • Substituído pelo Needle 3; mantido principalmente para implantações existentes
  • Pontuação inferior à de modelos pequenos maiores no BFCL v4 de turno único
  • Testadores no lançamento relataram chamadas de ferramenta erradas feitas com confiança
  • Sem chat geral nem conhecimento do mundo

Perguntas frequentes

O que é o Needle 2?

Um modelo de 45M de parâmetros da Cactus Compute para chamada de ferramentas no dispositivo, controle de dispositivos e extração estruturada. É distribuído como um único binário de 14 MB que roda com cerca de 28 MB de RAM, sem necessidade de rede, e retorna JSON restrito por gramática, além de uma pontuação de confiança.

O Needle 2 é gratuito?

Sim. O model card do Needle 2 no Hugging Face indica a Apache License 2.0, e o código está no GitHub. Não há cobrança por chamada, pois ele roda no seu próprio dispositivo. O trabalho de fine-tuning personalizado da Cactus não tem preço publicado.

Qual é a diferença entre o Needle 2 e o Needle 3?

O Needle 3, lançado em 17 de setembro de 2026, é um modelo de 8 a 29 MB (29M a 121M de parâmetros, profundidade selecionável de 2 a 20 camadas) que adiciona embeddings de texto e funciona com o modelo de voz Whistle. O mesmo pacote cactus-needle executa o Needle 3 por padrão; use generation=2 para manter o Needle 2.

Quais dispositivos podem executar o Needle 2?

A Cactus lista builds para ARM64, x86-64, ARMv7, RISC-V e WebAssembly em Apple, Windows, Linux, Android e Raspberry Pi. Cita cerca de 500 tokens por segundo de decodificação em um Raspberry Pi 5, de 300 a 700 em celulares abaixo de US$ 200, e microcontroladores como o ESP32.

O Needle 2 consegue conversar ou responder perguntas?

Não. A Cactus troca deliberadamente a capacidade de chat geral por chamada de ferramentas e extração. Ele mapeia uma solicitação para as funções que você declara e retorna uma lista vazia para solicitações fora do tema, em vez de adivinhar.

Qual é a precisão do Needle 2?

A Cactus afirma que ele se alterna em vitórias com o FunctionGemma 270M, o LFM2.5 230M e o Apple FM em benchmarks de chamada de ferramentas, sendo de 5x a 70x menor. No BFCL v4 de turno único, obteve 42,6, abaixo desses três. Testadores no lançamento, no Hacker News, relataram chamadas erradas feitas com confiança; por isso, valide com as suas próprias ferramentas.

Comparar alternativas

Needle 2

Freemium · API

Do blog da Stork

Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.

um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros