Needle 2でできること
Needle 2は、Cactus Computeが開発した小型言語モデルで、平易な言葉によるリクエストを適切な関数呼び出しに変換するか、テキストから型付きフィールドを抽出するという、ひとつの役割のために作られています。Cactusは2026年8月9日に、重みあたり約2ビットに圧縮した45Mパラメータのモデルとして公開しました。独自のエンジンに組み込まれているため、全体が14 MBの単一バイナリで、セッション中のRAMのピークは約28 MBです。チャットはできません。ツール(docstring付きのPython関数、またはJSONスキーマ)を宣言すると、Needleがどれを呼び出すかを選び、引数を埋めます。お客様のスキーマからコンパイルされたバイトレベルの文法がすべてのトークンを制約するため、出力は常にパース可能です。各回答には較正された信頼度スコアが付くため、アプリはしきい値を上回る場合に実行し、下回る場合は(たとえばクラウドモデルへ)エスカレーションできます。検索ヘッドにより、大規模なツールカタログを宣言しても、1ターンあたりモデルに表示されるのは上位5つのツールだけです。
Cactusによると、Needle 2はRaspberry Pi 5で毎秒約500トークン、Samsung A-Seriesなど200ドル未満のスマートフォンで300〜700トークンをデコードします。また、Apple、Windows、Linux、Android、Raspberry Pi上のARM64、x86-64、ARMv7、RISC-V、WebAssemblyで動作し、ESP32などのマイコンにも対応します。インストールはpip install cactus-needleで行います。2026年9月17日にCactusはNeedle 3をリリースしました。8〜29 MBのモデル(29M〜121Mパラメータ、2〜20層の任意の深さ)で、テキスト埋め込みに対応し、CactusのWhistle音声モデルと組み合わせて使えます。現在のパッケージはデフォルトでNeedle 3を実行し、既存の導入環境向けにはgeneration=2でNeedle 2を引き続き利用できます。
