O que o Needle 2 faz
O Needle 2 é um modelo de linguagem pequeno da Cactus Compute criado para uma única função: transformar uma solicitação em linguagem natural na chamada de função correta, ou extrair campos tipados de um texto. A Cactus o lançou em 9 de agosto de 2026 como um modelo de 45M de parâmetros comprimido a cerca de 2 bits por peso e incorporado ao seu próprio mecanismo, de modo que tudo se resume a um único binário de 14 MB, com pico de RAM por sessão em torno de 28 MB. Ele não conversa. Você declara as ferramentas (uma função Python com docstring ou um esquema JSON), e o Needle escolhe qual chamar e preenche os argumentos; uma gramática em nível de byte, compilada a partir dos seus esquemas, restringe cada token, de modo que a saída sempre pode ser interpretada. Cada resposta traz uma pontuação de confiança calibrada, de modo que um aplicativo pode agir acima de um limite e escalar (por exemplo, para um modelo na nuvem) abaixo dele. Um cabeçote de recuperação permite declarar um catálogo grande de ferramentas, enquanto apenas as cinco principais são mostradas ao modelo a cada turno.
A Cactus afirma que o Needle 2 decodifica cerca de 500 tokens por segundo em um Raspberry Pi 5, de 300 a 700 em celulares abaixo de US$ 200, como os da linha Samsung A-Series, e roda em ARM64, x86-64, ARMv7, RISC-V e WebAssembly em Apple, Windows, Linux, Android e Raspberry Pi, chegando a microcontroladores como o ESP32. A instalação é feita com pip install cactus-needle. Em 17 de setembro de 2026, a Cactus lançou o Needle 3, um modelo de 8 a 29 MB (29M a 121M de parâmetros, qualquer profundidade de 2 a 20 camadas) que adiciona embeddings de texto e funciona em conjunto com o modelo de voz Whistle da Cactus; o pacote atual executa o Needle 3 por padrão e mantém o Needle 2 disponível com generation=2 para implantações existentes.
