Skip to content

Needle 2 im Test

Needle 2 ist das kostenlose Modell von Cactus Compute mit 45M Parametern für Tool Calling auf dem Gerät und strukturierte Extraktion: eine 14-MB-Binärdatei, die mit etwa 28 MB RAM läuft. Im September 2026 wurde es durch Needle 3 abgelöst.

Freemium · API

Storks Urteil zu Needle 2

Needle 2 zeigt, wie weit ein 14-MB-Modell für Tool Calling auf günstiger Hardware kommen kann, doch neue Projekte sollten mit Needle 3 beginnen und die Genauigkeit mit ihren eigenen Tools testen.

Needle 2 reviewed by Stork AI · stork.ai/de/needle-2

stork
Ich bin ein Gemälde.
Ein unbewegtes Gemälde und ein getippter Satz.
Dieses Gemälde wurde nie gefilmt.
Ein Foto, eine Zeichnung, ein Gemälde oder eine 3D-Figur. Ab $0.10 pro Minute. Kostenlos testen.
Foto sprechen lassenFür Entwickler: Es gibt eine API

Was Needle 2 leistet

Needle 2 ist ein kleines Sprachmodell von Cactus Compute für eine einzige Aufgabe: eine Anfrage in natürlicher Sprache in den passenden Funktionsaufruf umzusetzen oder typisierte Felder aus Text zu extrahieren. Cactus veröffentlichte es am 9. August 2026 als Modell mit 45M Parametern, komprimiert auf etwa 2 Bit pro Gewicht und in die eigene Engine eingebettet, sodass das Ganze eine einzelne 14-MB-Binärdatei mit einem RAM-Spitzenbedarf von etwa 28 MB pro Sitzung ist. Es chattet nicht. Sie deklarieren Tools (eine Python-Funktion mit Docstring oder ein JSON-Schema), und Needle wählt aus, welches aufgerufen wird, und füllt die Argumente; eine aus Ihren Schemas kompilierte Grammatik auf Byte-Ebene beschränkt jedes Token, sodass die Ausgabe stets parsebar ist. Jede Antwort enthält einen kalibrierten Konfidenzwert, damit eine App oberhalb eines Schwellenwerts handeln und unterhalb eskalieren kann (zum Beispiel an ein Cloud-Modell). Ein Retrieval-Head erlaubt es, einen großen Tool-Katalog zu deklarieren, während dem Modell pro Runde nur die fünf besten Tools angezeigt werden.

Laut Cactus decodiert Needle 2 etwa 500 Tokens pro Sekunde auf einem Raspberry Pi 5, 300 bis 700 auf Smartphones unter 200 $ wie der Samsung A-Series und läuft auf ARM64, x86-64, ARMv7, RISC-V und WebAssembly auf Apple, Windows, Linux, Android und Raspberry Pi, bis hinunter zu Mikrocontrollern wie dem ESP32. Die Installation erfolgt mit pip install cactus-needle. Am 17. September 2026 veröffentlichte Cactus Needle 3, ein Modell mit 8 bis 29 MB (29M bis 121M Parameter, beliebige Tiefe von 2 bis 20 Schichten), das Text-Embeddings ergänzt und mit dem Sprachmodell Whistle von Cactus zusammenarbeitet; das aktuelle Paket führt standardmäßig Needle 3 aus und hält Needle 2 für bestehende Deployments mit generation=2 bereit.

Needle 2 Preise

OptionPreisEnthalten
Needle 2 Gewichte und EngineKostenlos, Apache License 2.0Modell-Binärdatei auf Hugging Face, Python-Paket cactus-needle, Quell- und Trainingscode auf GitHub
Needle 3 (aktuelles Modell)Kostenlos, Apache License 2.0Dasselbe Paket; Gewichte, ein feinabstimmbarer Checkpoint und plattformspezifische Engines auf Hugging Face
Individuelles Fine-Tuning oder hybride Checkpoints von CactusPreis nicht veröffentlicht; Vertrieb kontaktierenCactus bietet Fine-Tuning und bedarfsgesteuertes Post-Training über einen Kontakt „Talk to us“ an

Es fallen keine Gebühren pro Aufruf an: Das Modell läuft offline auf Ihrem eigenen Gerät. Cactus veröffentlicht keine Preisseite.

Preise am 3. November 2026 auf der Website des Anbieters geprüft. Siehe cactuscompute.com und die Modellkarte von Needle 2.

Wichtigste Funktionen

Das nennen der Release-Beitrag und die Modellkarte von Cactus zu Needle 2:

  • 45M Parameter bei etwa 2 Bit pro Gewicht (CQ2-bit), 14-MB-Binärdatei, etwa 28 MB Sitzungs-RAM
  • Eigenständig: Modell in die Binärdatei eingebettet, keine Downloads zur Laufzeit und kein Netzwerk nötig
  • Tool Calling und strukturierte Extraktion, als JSON ausgegeben, beschränkt durch eine aus Ihren Schemas kompilierte Grammatik
  • Kalibrierter Konfidenzwert bei jeder Antwort für das Routing „handeln oder eskalieren“
  • Tool-Retrieval: große Kataloge, pro Runde werden die fünf besten Tools dargestellt
  • Gleitendes Fenster mit 256 Tokens bei fixierten Tools, sodass der Speicherbedarf in langen Sitzungen konstant bleibt
  • Läuft auf ARM64, x86-64, ARMv7, RISC-V und WebAssembly; Python-Paket cactus-needle
  • Browser-Sandbox zum Ausprobieren von Beispiel-Tools vor der Integration

Für wen Needle 2 am besten geeignet ist

Needle eignet sich für Entwickler, die Sprach- oder Textsteuerung in günstige oder offline betriebene Hardware einbauen: Smart-Home-Geräte, Wearables, Roboter, Budget-Smartphones, Raspberry-Pi-Projekte und Mikrocontroller, auf denen ein allgemeines LLM nicht läuft und die Aufgabe darin besteht, einen Satz auf eine bekannte Menge von Funktionen abzubilden. Es ist kein Chatbot und verfügt über kein nennenswertes Allgemeinwissen. Für neue Projekte beginnen Sie mit Needle 3, das Cactus nun empfiehlt und das aus demselben Paket läuft; verwenden Sie Needle 2 nur, wenn Sie es bereits ausliefern und das Verhalten unverändert beibehalten möchten.

Wenn Sie ein etwas größeres, universelleres kleines Modell benötigen, werfen Sie einen Blick auf die Familie Gemma von Google (einschließlich FunctionGemma, gegen das Cactus Benchmarks durchführt). Zum Ausführen eigener PyTorch-Modelle auf Smartphones siehe ExecuTorch; für kommerzielle Sprachsteuerung auf dem Gerät mit Wake Words und Intent-Erkennung Picovoice.

Was Nutzer sagen

Die Resonanz war gemischt. Ein Beitrag von Developers Digest zum Show-HN-Launch berichtet, Kommentatoren hätten die Größe und die Demo im Browser gelobt, aber aus der Demo selbstsichere, falsche Aufrufe gepostet (zum Beispiel stellte eine Anfrage, einen Raum wärmer zu machen, das Thermostat auf Kühlen) und die Darstellung der Benchmarks hinterfragt. Nach den dort zitierten eigenen Angaben von Cactus erreichte Needle 2 bei BFCL v4 Single-Turn 42,6 gegenüber 46,1 für FunctionGemma 270M, 60,8 für LFM2.5 230M und 61,7 für Apple FM, bei einer Gewichtung mit 2 Bit gegenüber deren 16-Bit-Gewichten. Ein Beitrag im Raspberry-Pi-Blog, verfasst vom Team von Cactus Compute, zeigt, wie es auf einem Pi 5 LEDs steuert und die CPU-Temperatur ausliest, mit etwa 80 bis 110 ms pro Aufruf. Testen Sie es mit Ihren eigenen Tools, bevor Sie sich darauf verlassen.

Vorteile

  • Winzig: 14-MB-Binärdatei, etwa 28 MB RAM, läuft nur auf der CPU
  • Kostenlose Gewichte unter Apache-2.0; läuft vollständig offline
  • Die Ausgabe ist dank schemakompilierter Grammatik stets parsebar
  • Der Konfidenzwert erleichtert die Anbindung eines Cloud-Fallbacks
  • Läuft auf Smartphones, Raspberry Pis, in Browsern (WebAssembly) und auf Mikrocontrollern

Nachteile

  • Durch Needle 3 abgelöst; wird vor allem für bestehende Deployments weitergeführt
  • Erzielt bei BFCL v4 Single-Turn schlechtere Werte als größere kleine Modelle
  • Tester zum Launch berichteten von selbstsicheren, aber falschen Tool-Aufrufen
  • Kein allgemeiner Chat und kein Weltwissen

Häufig gestellte Fragen

Was ist Needle 2?

Ein Modell mit 45M Parametern von Cactus Compute für Tool Calling auf dem Gerät, Gerätesteuerung und strukturierte Extraktion. Es wird als einzelne 14-MB-Binärdatei ausgeliefert, läuft mit etwa 28 MB RAM, benötigt kein Netzwerk und liefert grammatikbeschränktes JSON plus einen Konfidenzwert.

Ist Needle 2 kostenlos?

Ja. Die Modellkarte von Needle 2 auf Hugging Face nennt die Apache License 2.0, und der Code liegt auf GitHub. Es fallen keine Gebühren pro Aufruf an, da das Modell auf Ihrem eigenen Gerät läuft. Für die individuellen Fine-Tuning-Leistungen von Cactus ist kein Preis veröffentlicht.

Was ist der Unterschied zwischen Needle 2 und Needle 3?

Needle 3, veröffentlicht am 17. September 2026, ist ein Modell mit 8 bis 29 MB (29M bis 121M Parameter, wählbare Tiefe von 2 bis 20 Schichten), das Text-Embeddings ergänzt und mit dem Sprachmodell Whistle zusammenarbeitet. Dasselbe Paket cactus-needle führt standardmäßig Needle 3 aus; mit generation=2 bleibt Needle 2 erhalten.

Auf welchen Geräten kann Needle 2 laufen?

Cactus nennt Builds für ARM64, x86-64, ARMv7, RISC-V und WebAssembly auf Apple, Windows, Linux, Android und Raspberry Pi. Angegeben werden etwa 500 Tokens pro Sekunde beim Decodieren auf einem Raspberry Pi 5, 300 bis 700 auf Smartphones unter 200 $ sowie Mikrocontroller wie der ESP32.

Kann Needle 2 chatten oder Fragen beantworten?

Nein. Cactus tauscht bewusst allgemeine Chat-Fähigkeit gegen Tool Calling und Extraktion ein. Das Modell ordnet eine Anfrage den von Ihnen deklarierten Funktionen zu und gibt bei themenfremden Anfragen eine leere Liste zurück, statt zu raten.

Wie genau ist Needle 2?

Laut Cactus liefert es bei Tool-Calling-Benchmarks ähnliche Ergebnisse wie FunctionGemma 270M, LFM2.5 230M und Apple FM, ist dabei aber 5- bis 70-mal kleiner. Bei BFCL v4 Single-Turn erreichte es 42,6 und lag damit unter diesen dreien. Tester beim Launch auf Hacker News berichteten von selbstsicheren, aber falschen Aufrufen; validieren Sie das Modell daher mit Ihren eigenen Tools.

Alternativen vergleichen

Needle 2

Freemium · API

Aus dem Stork-Blog

Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.

eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte