Was Needle 2 leistet
Needle 2 ist ein kleines Sprachmodell von Cactus Compute für eine einzige Aufgabe: eine Anfrage in natürlicher Sprache in den passenden Funktionsaufruf umzusetzen oder typisierte Felder aus Text zu extrahieren. Cactus veröffentlichte es am 9. August 2026 als Modell mit 45M Parametern, komprimiert auf etwa 2 Bit pro Gewicht und in die eigene Engine eingebettet, sodass das Ganze eine einzelne 14-MB-Binärdatei mit einem RAM-Spitzenbedarf von etwa 28 MB pro Sitzung ist. Es chattet nicht. Sie deklarieren Tools (eine Python-Funktion mit Docstring oder ein JSON-Schema), und Needle wählt aus, welches aufgerufen wird, und füllt die Argumente; eine aus Ihren Schemas kompilierte Grammatik auf Byte-Ebene beschränkt jedes Token, sodass die Ausgabe stets parsebar ist. Jede Antwort enthält einen kalibrierten Konfidenzwert, damit eine App oberhalb eines Schwellenwerts handeln und unterhalb eskalieren kann (zum Beispiel an ein Cloud-Modell). Ein Retrieval-Head erlaubt es, einen großen Tool-Katalog zu deklarieren, während dem Modell pro Runde nur die fünf besten Tools angezeigt werden.
Laut Cactus decodiert Needle 2 etwa 500 Tokens pro Sekunde auf einem Raspberry Pi 5, 300 bis 700 auf Smartphones unter 200 $ wie der Samsung A-Series und läuft auf ARM64, x86-64, ARMv7, RISC-V und WebAssembly auf Apple, Windows, Linux, Android und Raspberry Pi, bis hinunter zu Mikrocontrollern wie dem ESP32. Die Installation erfolgt mit pip install cactus-needle. Am 17. September 2026 veröffentlichte Cactus Needle 3, ein Modell mit 8 bis 29 MB (29M bis 121M Parameter, beliebige Tiefe von 2 bis 20 Schichten), das Text-Embeddings ergänzt und mit dem Sprachmodell Whistle von Cactus zusammenarbeitet; das aktuelle Paket führt standardmäßig Needle 3 aus und hält Needle 2 für bestehende Deployments mit generation=2 bereit.
