Qué hace Needle 2
Needle 2 es un modelo de lenguaje pequeño de Cactus Compute creado para una sola tarea: convertir una solicitud en lenguaje natural en la llamada a función correcta, o extraer campos tipados de un texto. Cactus lo publicó el 9 de agosto de 2026 como un modelo de 45M de parámetros comprimido a unos 2 bits por peso e integrado en su propio motor, de modo que todo es un único binario de 14 MB con un pico de RAM de sesión de unos 28 MB. No conversa. Usted declara las herramientas (una función de Python con docstring o un esquema JSON), y Needle elige cuál llamar y rellena los argumentos; una gramática a nivel de byte compilada a partir de sus esquemas restringe cada token, por lo que la salida siempre se puede analizar. Cada respuesta incluye una puntuación de confianza calibrada, de modo que una aplicación puede actuar por encima de un umbral y derivar la solicitud (por ejemplo, a un modelo en la nube) por debajo de él. Un cabezal de recuperación permite declarar un catálogo grande de herramientas mientras que solo se muestran al modelo las cinco mejores herramientas en cada turno.
Cactus afirma que Needle 2 decodifica unos 500 tokens por segundo en una Raspberry Pi 5, de 300 a 700 en teléfonos de menos de 200 $ como los Samsung A-Series, y que funciona en ARM64, x86-64, ARMv7, RISC-V y WebAssembly en Apple, Windows, Linux, Android y Raspberry Pi, hasta llegar a microcontroladores como el ESP32. Se instala con pip install cactus-needle. El 17 de septiembre de 2026 Cactus publicó Needle 3, un modelo de 8 a 29 MB (de 29M a 121M de parámetros, con cualquier profundidad de 2 a 20 capas) que añade incrustaciones de texto y se combina con el modelo de voz Whistle de Cactus; el paquete actual ejecuta Needle 3 de forma predeterminada y mantiene Needle 2 disponible con generation=2 para implementaciones existentes.
