KI, die Befehle erteilt, statt Antworten zu geben
Cactus Compute hat Needle 2 vorgestellt, ein bahnbrechendes KI-Modell mit 45 Millionen Parametern. Dieses kompakte 14-MB-Modell arbeitet vollständig offline auf einem 10-Dollar-ESP32-S3-Mikrocontroller und verschiebt die Grenzen dessen, was für On-Device-Intelligenz ohne Cloud-Abhängigkeit möglich ist. Needle 2 ist unter der Apache 2.0-Lizenz als Open Source verfügbar und demonstriert ein neues Paradigma für stark eingeschränkte Edge-KI.
Entscheidend ist, dass Needle 2 als spezialisierter Tool Call Dispatcher fungiert. Im Gegensatz zu allgemeinen Chatbots interpretiert es natürlichsprachliche Befehle, um vordefinierte Gerätefunktionen auszuführen. Sie können beispielsweise einem Smart-Gerät sagen: „Lass ein rotes Licht für drei Sekunden blinken“, und Needle 2 übersetzt dies in die präzise Aktionssequenz, die erforderlich ist, um eine LED zu steuern, einen Servo zu drehen oder komplexe mobile oder Smart-Home-Vorgänge zu verwalten.
Diese bemerkenswerte Effizienz beruht auf einem bewussten, kritischen Kompromiss. Cactus Compute hat auf breites Allgemeinwissen und Konversationsfähigkeit verzichtet; Needle 2 kann keine sachlichen Fragen wie „Was ist die Hauptstadt von Frankreich?“ beantworten. Stattdessen konzentrieren sich die gesamten Trainingsdaten ausschließlich darauf, Geräteaktionen zu ermöglichen. Dies macht Needle 2 zu einem Experten für direkte Aktionen und Steuerung, nicht für die Informationsbeschaffung, was seinen winzigen Speicherbedarf und seine hohe Effizienz für dedizierte Geräteintelligenz ermöglicht.
Wie Cactus die LLM-Architektur gehackt hat
Cactus Compute hat Needle 2 mit neuartigen architektonischen Entscheidungen entwickelt, um seine kompakte Größe und Effizienz zu erreichen. Eine primäre Innovation besteht darin, traditionelle lernbare Gewichte, die normalerweise umfangreiche Matrixmultiplikationen für jedes Token erfordern, durch gehashte n-gram lookup tables zu ersetzen. Dieses Design ermöglicht es dem Modell, Wissen direkt aus dem Speicher abzurufen, anstatt rechenintensive Berechnungen durchzuführen, was die Gleitkommaoperationen (FLOPs) drastisch auf nur 70 MFLOPs/Token reduziert, verglichen mit 460 MFLOPs bei größeren Modellen.
Um das Netzwerk weiter zu optimieren, hat Cactus Standard-MLP-Schichten (Multi-Layer Perceptron) durch eine Hadamard-Transformation ersetzt. Herkömmliche MLP-Schichten führen Netzwerkmischungen unter Verwendung riesiger, lernbarer Matrizen durch und verbrauchen einen großen Teil des Parameterbudgets eines Modells, um diese Verbindungen zu erlernen. Die Hadamard-Transformation, eine feste mathematische Operation, bietet diese wesentliche Mischung „kostenlos“ an, erfordert fast keine lernbaren Parameter und spart so Millionen von Parametern.
Das letzte Puzzleteil der Effizienz von Needle 2 ist die von Haus aus für das Training entwickelte 2-Bit-Quantisierung, die auf proprietären Cactus Quants basiert. Viele kleine Modelle erleiden bei einer Quantisierung nach dem Training einen erheblichen Leistungsabfall, da sie nicht für eine solch aggressive Komprimierung ausgelegt waren. Needle 2 wurde jedoch von Anfang an explizit gegen seine eigene 2-Bit-Komprimierung trainiert, was eine optimale Leistung gewährleistet und Qualitätsverluste bei dieser extrem niedrigen Präzision eliminiert. Das bedeutet, dass das bereitgestellte 2-Bit-Modell identisch mit dem trainierten Modell ist.
Giganten schlagen, die fünfmal so groß sind
Needle 2 stellt die Vorstellung infrage, dass größere Modelle zwangsläufig eine überlegene Leistung bedeuten. Das 45-Millionen-Parameter-Modell von Cactus Compute, das mit 2-Bit-Präzision läuft, tritt gegen Modelle wie LFM2.5 230M an – die fünf- bis siebenmal so groß sind – und schlägt sie sogar in spezifischen, schwierigeren Tool-Calling-Tests. Diese Leistung ist besonders beeindruckend, wenn man bedenkt, dass LFM2.5 mit 16-Bit-Präzision arbeitet.
Betrachten Sie seinen spezialisierten Bereich: Beim Mobile Actions benchmark erreichte Needle 2 eine bemerkenswerte Genauigkeit von 98,3 % bei der Auswahl des korrekten Funktionsnamens. Dieser Wert übertrifft jedes einzelne konkurrierende Modell, mit dem es bei dieser speziellen Aufgabe verglichen wurde, und demonstriert seine außergewöhnliche Eignung für eine präzise Befehlsinterpretation. Für diejenigen, die an der Open-Source-Implementierung und weiteren Details interessiert sind, ist das Projekt auf GitHub - cactus-compute/needle: 14MB foundation model for tiny devices; phones, wearables, smart home, and robots. verfügbar.
Die Effizienzgewinne sind ebenso beeindruckend. Needle 2 verwendet drastisch weniger Floating Point Operations (FLOPs) pro Token als seine größeren Pendants. Während Modelle wie LFM2.5 230M etwa 460 MFLOPs/Token benötigen, arbeitet Needle 2 mit nur 70 MFLOPs/Token. Dies stellt eine 7- bis 85-fache Reduzierung der Rechenkosten dar und liefert wettbewerbsfähige oder sogar überlegene Ergebnisse in seiner Nische.
Diese Effizienz ermöglicht es, hochentwickelte KI auf einem 10-Dollar-Chip auszuführen, wodurch fortschrittliche agentische Funktionen für energieeffiziente Edge-Geräte zugänglich werden, auf denen größere, ressourcenintensivere Modelle schlicht nicht funktionieren können.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Von der Theorie zum blinkenden Licht
Needle 2 auf einem nackten ESP32-S3 Mikrocontroller in Aktion zu erleben, offenbart seine praktische Leistungsfähigkeit. Benutzer geben Befehle wie „leuchte sieben Sekunden lang violett“, und das Modell übersetzt diese in präzise Tool-Aufrufe, die physische Aktionen mit einem integrierten Konfidenzwert auslösen. Obwohl diese Schlussfolgerung und Ausführung auf dem winzigen Chip ohne GPU etwa 40 Sekunden dauert, ist die Fähigkeit an sich transformativ.
Diese Leistung skaliert dramatisch auf leistungsfähigerer Hardware. Needle 2 erreicht bis zu 500 tokens/second auf einem Raspberry Pi 5, was es für Echtzeitanwendungen wie Robotik und interaktive Geräte äußerst praktikabel macht. Auf VR-Geräten kann es 400-1.500 tokens/second erreichen und auf günstigen Smartphones 300-700 tokens/second, was seine Anpassungsfähigkeit über verschiedene Edge-Plattformen hinweg demonstriert.
Needle 2 ebnet nun den Weg für eine neue Klasse intelligenter, kostengünstiger Produkte. Seine Fähigkeit, vollständig offline als agentic tool call dispatcher zu arbeiten, kommt folgenden Bereichen zugute:
- IoT-Geräte
- Wearables, wie der Pebble Index 01 Ring
- Smart-Home-Systeme
Dies ermöglicht hochentwickelte, datenschutzfreundliche KI direkt in den Geräten, die wir täglich nutzen, ohne Cloud-Abhängigkeit.
Häufig gestellte Fragen
Was ist Needle 2?
Needle 2 ist ein 45-Millionen-Parameter, 14MB großes agentisches LLM, das von Cactus Compute entwickelt wurde. Es wurde speziell dafür konzipiert, auf stromsparenden Edge-Geräten wie Mikrocontrollern für Tool-Calling- und Funktions-Dispatching-Aufgaben zu laufen.
Kann Needle 2 als allgemeiner Chatbot fungieren?
Nein. Needle 2 wurde nicht auf Allgemeinwissen oder Konversation trainiert. Es ist hochspezialisiert darauf, natürlichsprachliche Befehle zu interpretieren und vordefinierte Gerätefunktionen auszuführen, was es zu einem Tool-Call-Dispatcher macht, nicht zu einem Chatbot.
Was macht Needle 2 so klein und effizient?
Seine Effizienz resultiert aus einer neuartigen Architektur, die gehashte n-Gramm-Nachschlagetabellen anstelle von Gewichten verwendet, einem Hadamard-Transform-MLP, das fast keine lernbaren Parameter erfordert, und einer speziellen 2-Bit-Quantisierung, die von Beginn des Trainings an angewendet wird.
Welche Art von Hardware kann Needle 2 ausführen?
Es kann auf stark eingeschränkter Hardware ohne GPU oder NPU ausgeführt werden, einschließlich des ESP32-S3 Mikrocontrollers, Raspberry Pi 5, VR-Headsets wie der Meta Quest und günstigen Smartphones.