Skip to content

Needle 2 レビュー

Needle 2は、Cactus Computeが提供する、オンデバイスでのツール呼び出しと構造化抽出向けの無料の45Mパラメータモデルです。14 MBのバイナリで、約28 MBのRAMで動作します。2026年9月にNeedle 3に置き換えられました。

フリーミアム · API

Needle 2に対するStorkの評価

Needle 2は、14 MBのツール呼び出しモデルが安価なハードウェアでどこまで使えるかを示していますが、新規プロジェクトではNeedle 3から始め、ご自身のツールで精度をテストしてください。

Needle 2 reviewed by Stork AI · stork.ai/ja/needle-2

stork
私は絵画です。
1枚の絵画と、入力された1つの文だけ。
この絵画は、一度も撮影されていません。
写真、イラスト、絵画、3Dキャラクターに対応。1分$0.10から。無料でお試しいただけます。
写真を話させる開発者の方へ:APIもあります

Needle 2でできること

Needle 2は、Cactus Computeが開発した小型言語モデルで、平易な言葉によるリクエストを適切な関数呼び出しに変換するか、テキストから型付きフィールドを抽出するという、ひとつの役割のために作られています。Cactusは2026年8月9日に、重みあたり約2ビットに圧縮した45Mパラメータのモデルとして公開しました。独自のエンジンに組み込まれているため、全体が14 MBの単一バイナリで、セッション中のRAMのピークは約28 MBです。チャットはできません。ツール(docstring付きのPython関数、またはJSONスキーマ)を宣言すると、Needleがどれを呼び出すかを選び、引数を埋めます。お客様のスキーマからコンパイルされたバイトレベルの文法がすべてのトークンを制約するため、出力は常にパース可能です。各回答には較正された信頼度スコアが付くため、アプリはしきい値を上回る場合に実行し、下回る場合は(たとえばクラウドモデルへ)エスカレーションできます。検索ヘッドにより、大規模なツールカタログを宣言しても、1ターンあたりモデルに表示されるのは上位5つのツールだけです。

Cactusによると、Needle 2はRaspberry Pi 5で毎秒約500トークン、Samsung A-Seriesなど200ドル未満のスマートフォンで300〜700トークンをデコードします。また、Apple、Windows、Linux、Android、Raspberry Pi上のARM64、x86-64、ARMv7、RISC-V、WebAssemblyで動作し、ESP32などのマイコンにも対応します。インストールはpip install cactus-needleで行います。2026年9月17日にCactusはNeedle 3をリリースしました。8〜29 MBのモデル(29M〜121Mパラメータ、2〜20層の任意の深さ)で、テキスト埋め込みに対応し、CactusのWhistle音声モデルと組み合わせて使えます。現在のパッケージはデフォルトでNeedle 3を実行し、既存の導入環境向けにはgeneration=2でNeedle 2を引き続き利用できます。

Needle 2の料金

オプション価格含まれるもの
Needle 2のウェイトとエンジン無料、Apache License 2.0HuggingFace上のモデルバイナリ、Pythonパッケージcactus-needle、GitHub上のソースとトレーニングコード
Needle 3(現行モデル)無料、Apache License 2.0同じパッケージ。Hugging Face上のウェイト、ファインチューニング可能なチェックポイント、プラットフォーム別エンジン
Cactusによるカスタムファインチューニングまたはハイブリッドチェックポイント価格は非公開。営業担当への問い合わせCactusは「Talk to us」の連絡窓口を通じて、ファインチューニングとオンデマンドのポストトレーニングを提供

呼び出しごとの料金はありません。モデルはお客様のデバイス上でオフラインで動作します。Cactusは料金ページを公開していません。

価格はベンダーのサイトで2026年11月3日に確認しました。cactuscompute.comおよびNeedle 2モデルカードをご覧ください。

主な機能

CactusのNeedle 2リリース記事とモデルカードに記載されている内容は次のとおりです。

  • 重みあたり約2ビット(CQ2-bit)の45Mパラメータ、14 MBのバイナリ、セッションRAMは約28 MB
  • 自己完結型:モデルはバイナリに組み込まれており、実行時のダウンロードもネットワークも不要
  • ツール呼び出しと構造化抽出。お客様のスキーマからコンパイルされた文法で制約されたJSONとして返される
  • すべての応答に較正された信頼度スコアが付き、実行かエスカレーションかのルーティングに利用可能
  • ツール検索:大規模なカタログに対応し、1ターンあたり上位5つのツールを表示
  • ツールを固定した256トークンのスライディングウィンドウにより、長いセッションでもメモリ使用量が一定
  • ARM64、x86-64、ARMv7、RISC-V、WebAssemblyで動作。Pythonパッケージcactus-needle
  • 統合の前にサンプルツールを試せるブラウザサンドボックス

Needle 2が最適なユーザー

Needleは、スマートホームデバイス、ウェアラブル、ロボット、低価格スマートフォン、Raspberry Piプロジェクト、マイコンなど、安価またはオフラインのハードウェアに音声やテキストによる操作を組み込む開発者に適しています。汎用のLLMが収まらず、文を既知の関数群に対応付けることが目的となる環境です。チャットボットではなく、一般知識はほとんどありません。新規プロジェクトでは、Cactusが現在推奨しており、同じパッケージから実行できるNeedle 3から始めてください。Needle 2は、すでに導入済みで動作を変えたくない場合にのみ使用してください。

もう少し大きな汎用の小型モデルが必要な場合は、GoogleのGemma(https://www.stork.ai/en/gemma)ファミリー(Cactusがベンチマークで比較しているFunctionGemmaを含む)をご検討ください。独自のPyTorchモデルをスマートフォンで実行するには[ExecuTorch](https://www.stork.ai/en/executorch)、ウェイクワードやインテント認識を備えた商用のオンデバイス音声には[Picovoice](https://www.stork.ai/en/picovoice)をご覧ください。

ユーザーの声

反応は賛否両論でした。Show HNでのローンチを取り上げたDevelopers Digestの記事によると、コメント投稿者はサイズとブラウザ内デモを評価した一方、デモから自信を持った誤った呼び出し(たとえば、部屋を暖かくするよう頼んだのにサーモスタットを冷房に設定した例)を投稿し、ベンチマークの提示方法に疑問を呈しました。そこで引用されているCactus自身の数値では、Needle 2のBFCL v4 single-turnのスコアは42.6で、FunctionGemma 270Mが46.1、LFM2.5 230Mが60.8、Apple FMが61.7でした。Needle 2は2ビットで動作するのに対し、これらは16ビットのウェイトです。Cactus Computeチームが執筆したRaspberry Piのブログ記事では、Pi 5上でLEDの制御とCPU温度の読み取りを1回の呼び出しあたり約80〜110 msで行う様子が紹介されています。利用前に、ご自身のツールセットで試してください。

長所

  • 小型:14 MBのバイナリ、約28 MBのRAM、CPUのみで動作
  • Apache-2.0の無料ウェイトで、完全オフラインで動作
  • スキーマからコンパイルされた文法により、出力は常にパース可能
  • 信頼度スコアにより、クラウドへのフォールバックを容易に組み込める
  • スマートフォン、Raspberry Pi、ブラウザ(WebAssembly)、マイコンで動作

短所

  • Needle 3に置き換えられており、主に既存の導入環境向けに残されている
  • BFCL v4 single-turnでは、より大きな小型モデルを下回るスコア
  • ローンチ時のテスターから、自信を持った誤ったツール呼び出しが報告された
  • 一般的なチャットや世界知識は備えていない

よくある質問

Needle 2とは何ですか?

Cactus Computeが提供する45Mパラメータのモデルで、オンデバイスでのツール呼び出し、デバイス制御、構造化抽出に対応します。14 MBの単一バイナリで提供され、約28 MBのRAMで動作します。ネットワークは不要で、文法制約付きのJSONと信頼度スコアを返します。

Needle 2は無料ですか?

はい。Hugging FaceのNeedle 2モデルカードにはApache License 2.0と記載されており、コードはGitHubで公開されています。お使いのデバイス上で動作するため、呼び出しごとの料金はかかりません。Cactusのカスタムファインチューニングについては、価格は公開されていません。

Needle 2とNeedle 3の違いは何ですか?

2026年9月17日にリリースされたNeedle 3は、8〜29 MBのモデル(29M〜121Mパラメータ、2〜20層から深さを選択可能)で、テキスト埋め込みに対応し、Whistle音声モデルと連携します。同じcactus-needleパッケージはデフォルトでNeedle 3を実行します。Needle 2を使い続けるにはgeneration=2を指定します。

Needle 2はどのデバイスで動作しますか?

Cactusは、Apple、Windows、Linux、Android、Raspberry Pi向けに、ARM64、x86-64、ARMv7、RISC-V、WebAssemblyのビルドを挙げています。デコード速度は、Raspberry Pi 5で毎秒約500トークン、200ドル未満のスマートフォンで300〜700トークンとされ、ESP32などのマイコンでも動作するとしています。

Needle 2はチャットや質問への回答ができますか?

いいえ。Cactusは、一般的なチャット能力を意図的に抑え、ツール呼び出しと抽出に特化させています。リクエストを、お客様が宣言した関数に対応付け、トピック外のリクエストには推測せず空のリストを返します。

Needle 2の精度はどの程度ですか?

Cactusは、ツール呼び出しのベンチマークでFunctionGemma 270M、LFM2.5 230M、Apple FMと勝ち負けを分け合いつつ、サイズは5倍〜70倍小さいとしています。BFCL v4 single-turnでは42.6のスコアで、これら3つを下回りました。Hacker Newsのローンチ時のテスターからは自信を持った誤った呼び出しが報告されているため、ご自身のツールで検証してください。

代替製品を比較

Needle 2

フリーミアム · API

Storkブログより

この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。

1日1通 · 2クリックで解除 · サードパーティのトラッキングなし