Skip to content

Análisis de Needle 2

Needle 2 es el modelo gratuito de 45M de parámetros de Cactus Compute para la llamada a herramientas en el dispositivo y la extracción estructurada: un binario de 14 MB que funciona con unos 28 MB de RAM. Needle 3 lo sustituyó en septiembre de 2026.

Freemium · API

Veredicto de Stork sobre Needle 2

Needle 2 muestra hasta dónde puede llegar un modelo de llamada a herramientas de 14 MB en hardware económico, pero los proyectos nuevos deberían empezar con Needle 3 y comprobar la precisión con sus propias herramientas.

Needle 2 reviewed by Stork AI · stork.ai/es/needle-2

stork
Soy una pintura.
Una pintura inmóvil y una frase escrita.
Esta pintura nunca fue filmada.
Una foto, un dibujo, una pintura o un personaje 3D. Desde $0.10 por minuto. Pruébalo gratis.
Haz hablar una fotoDesarrolladores: hay una API

Qué hace Needle 2

Needle 2 es un modelo de lenguaje pequeño de Cactus Compute creado para una sola tarea: convertir una solicitud en lenguaje natural en la llamada a función correcta, o extraer campos tipados de un texto. Cactus lo publicó el 9 de agosto de 2026 como un modelo de 45M de parámetros comprimido a unos 2 bits por peso e integrado en su propio motor, de modo que todo es un único binario de 14 MB con un pico de RAM de sesión de unos 28 MB. No conversa. Usted declara las herramientas (una función de Python con docstring o un esquema JSON), y Needle elige cuál llamar y rellena los argumentos; una gramática a nivel de byte compilada a partir de sus esquemas restringe cada token, por lo que la salida siempre se puede analizar. Cada respuesta incluye una puntuación de confianza calibrada, de modo que una aplicación puede actuar por encima de un umbral y derivar la solicitud (por ejemplo, a un modelo en la nube) por debajo de él. Un cabezal de recuperación permite declarar un catálogo grande de herramientas mientras que solo se muestran al modelo las cinco mejores herramientas en cada turno.

Cactus afirma que Needle 2 decodifica unos 500 tokens por segundo en una Raspberry Pi 5, de 300 a 700 en teléfonos de menos de 200 $ como los Samsung A-Series, y que funciona en ARM64, x86-64, ARMv7, RISC-V y WebAssembly en Apple, Windows, Linux, Android y Raspberry Pi, hasta llegar a microcontroladores como el ESP32. Se instala con pip install cactus-needle. El 17 de septiembre de 2026 Cactus publicó Needle 3, un modelo de 8 a 29 MB (de 29M a 121M de parámetros, con cualquier profundidad de 2 a 20 capas) que añade incrustaciones de texto y se combina con el modelo de voz Whistle de Cactus; el paquete actual ejecuta Needle 3 de forma predeterminada y mantiene Needle 2 disponible con generation=2 para implementaciones existentes.

Precios de Needle 2

OpciónPrecioIncluido
Pesos y motor de Needle 2Gratis, Apache License 2.0Binario del modelo en Hugging Face, paquete de Python cactus-needle, código fuente y código de entrenamiento en GitHub
Needle 3 (modelo actual)Gratis, Apache License 2.0Mismo paquete; pesos, un punto de control ajustable y motores por plataforma en Hugging Face
Ajuste fino personalizado o puntos de control híbridos de CactusPrecio no publicado; contacte con ventasCactus ofrece ajuste fino y posentrenamiento bajo demanda a través de un contacto "Talk to us"

No hay tarifa por llamada: el modelo se ejecuta en su propio dispositivo, sin conexión. Cactus no publica una página de precios.

Precios comprobados en el sitio del proveedor el 3 de noviembre de 2026. Consulte cactuscompute.com y la ficha del modelo Needle 2.

Características principales

Lo que indican la publicación de lanzamiento y la ficha del modelo Needle 2 de Cactus:

  • 45M de parámetros a unos 2 bits por peso (CQ2-bit), binario de 14 MB, unos 28 MB de RAM de sesión
  • Autónomo: modelo integrado en el binario, sin descargas en tiempo de ejecución ni necesidad de red
  • Llamada a herramientas y extracción estructurada, devueltas como JSON restringido por una gramática compilada a partir de sus esquemas
  • Puntuación de confianza calibrada en cada respuesta para el enrutamiento de actuar o derivar
  • Recuperación de herramientas: catálogos grandes, cinco mejores herramientas mostradas por turno
  • Ventana deslizante de 256 tokens con las herramientas fijadas, de modo que la memoria se mantiene estable en sesiones largas
  • Funciona en ARM64, x86-64, ARMv7, RISC-V y WebAssembly; paquete de Python cactus-needle
  • Entorno de pruebas en el navegador para probar herramientas de ejemplo antes de integrar

Para quién es más adecuado Needle 2

Needle es adecuado para desarrolladores que incorporan control por voz o texto en hardware económico o sin conexión: dispositivos domóticos, wearables, robots, teléfonos de gama baja, proyectos con Raspberry Pi y microcontroladores, donde un LLM general no cabe y la tarea consiste en asignar una frase a un conjunto conocido de funciones. No es un chatbot y apenas tiene conocimiento general. Para proyectos nuevos, empiece con Needle 3, que Cactus recomienda ahora y que se ejecuta desde el mismo paquete; use Needle 2 solo si ya lo tiene en producción y quiere mantener el comportamiento sin cambios.

Si necesita un modelo pequeño de propósito general algo más grande, consulte la familia Gemma de Google (incluido FunctionGemma, con el que Cactus compara su modelo). Para ejecutar sus propios modelos de PyTorch en teléfonos, consulte ExecuTorch; para voz comercial en el dispositivo con palabras de activación y reconocimiento de intenciones, Picovoice.

Qué dicen los usuarios

La reacción fue desigual. Un artículo de Developers Digest sobre el lanzamiento en Show HN indica que a los comentaristas les gustaron el tamaño y la demostración en el navegador, pero publicaron llamadas incorrectas hechas con aparente seguridad desde la demostración (por ejemplo, una solicitud de calentar una habitación que configuraba el termostato en modo frío) y cuestionaron cómo se plantearon las pruebas de referencia. Según las cifras propias de Cactus citadas allí, Needle 2 obtuvo 42,6 en BFCL v4 de un solo turno frente a 46,1 de FunctionGemma 270M, 60,8 de LFM2.5 230M y 61,7 de Apple FM, mientras funciona a 2 bits frente a los pesos de 16 bits de esos modelos. Una publicación del blog de Raspberry Pi, escrita por el equipo de Cactus Compute, muestra cómo controla LED y lee la temperatura de la CPU en una Pi 5 en aproximadamente 80 a 110 ms por llamada. Pruébelo con su propio conjunto de herramientas antes de depender de él.

Ventajas

  • Diminuto: binario de 14 MB, unos 28 MB de RAM, funciona solo con CPU
  • Pesos gratuitos con licencia Apache-2.0; funciona totalmente sin conexión
  • La salida siempre se puede analizar gracias a la gramática compilada a partir del esquema
  • La puntuación de confianza facilita la configuración de un respaldo en la nube
  • Funciona en teléfonos, Raspberry Pi, navegadores (WebAssembly) y microcontroladores

Desventajas

  • Sustituido por Needle 3; se mantiene principalmente para implementaciones existentes
  • Obtiene una puntuación inferior a la de modelos pequeños más grandes en BFCL v4 de un solo turno
  • Los evaluadores del lanzamiento informaron de llamadas a herramientas incorrectas hechas con aparente seguridad
  • Sin chat general ni conocimiento del mundo

Preguntas frecuentes

¿Qué es Needle 2?

Un modelo de 45M de parámetros de Cactus Compute para la llamada a herramientas en el dispositivo, el control de dispositivos y la extracción estructurada. Se entrega como un único binario de 14 MB que funciona con unos 28 MB de RAM, sin necesidad de red, y devuelve JSON restringido por gramática junto con una puntuación de confianza.

¿Es gratuito Needle 2?

Sí. La ficha del modelo Needle 2 en Hugging Face indica la Apache License 2.0, y el código está en GitHub. No hay tarifa por llamada porque se ejecuta en su propio dispositivo. El trabajo de ajuste fino personalizado de Cactus no tiene un precio publicado.

¿Cuál es la diferencia entre Needle 2 y Needle 3?

Needle 3, publicado el 17 de septiembre de 2026, es un modelo de 8 a 29 MB (de 29M a 121M de parámetros, con profundidad seleccionable de 2 a 20 capas) que añade incrustaciones de texto y funciona con el modelo de voz Whistle. El mismo paquete cactus-needle ejecuta Needle 3 de forma predeterminada; use generation=2 para mantener Needle 2.

¿En qué dispositivos puede funcionar Needle 2?

Cactus indica compilaciones para ARM64, x86-64, ARMv7, RISC-V y WebAssembly en Apple, Windows, Linux, Android y Raspberry Pi. Cita unos 500 tokens por segundo de decodificación en una Raspberry Pi 5, de 300 a 700 en teléfonos de menos de 200 $, y microcontroladores como el ESP32.

¿Puede Needle 2 conversar o responder preguntas?

No. Cactus sacrifica deliberadamente la capacidad de chat general a favor de la llamada a herramientas y la extracción. Asigna una solicitud a las funciones que usted declara y devuelve una lista vacía para las solicitudes fuera de tema en lugar de adivinar.

¿Qué precisión tiene Needle 2?

Cactus afirma que alterna victorias con FunctionGemma 270M, LFM2.5 230M y Apple FM en pruebas de referencia de llamada a herramientas, siendo entre 5 y 70 veces más pequeño. En BFCL v4 de un solo turno obtuvo 42,6, por debajo de esos tres. Los evaluadores del lanzamiento en Hacker News informaron de llamadas incorrectas hechas con aparente seguridad, así que valide el modelo con sus propias herramientas.

Comparar alternativas

Needle 2

Freemium · API

Del blog de Stork

¿Te está gustando? Recibe uno así en tu bandeja cada mañana.

un correo al día · date de baja en dos clics · sin rastreadores de terceros