Skip to content

Needle 2 리뷰

Needle 2는 Cactus Compute의 무료 45M 파라미터 모델로, 온디바이스 도구 호출과 구조화된 추출에 사용됩니다. 14 MB 바이너리이며 약 28 MB의 RAM에서 실행됩니다. 2026년 9월에 Needle 3로 대체되었습니다.

프리미엄(무료+유료) · API

Needle 2에 대한 Stork의 평가

Needle 2는 14 MB 도구 호출 모델이 저가형 하드웨어에서 얼마나 활용될 수 있는지 보여 주지만, 신규 프로젝트는 Needle 3로 시작하고 사용하는 도구에서 정확도를 직접 테스트해야 합니다.

Needle 2 reviewed by Stork AI · stork.ai/ko/needle-2

stork
저는 그림입니다.
멈춰 있는 그림 한 점과 입력한 문장 하나.
이 그림은 한 번도 촬영된 적이 없습니다.
사진, 그림, 회화, 3D 캐릭터 모두 가능합니다. 분당 $0.10부터. 무료로 체험해 보세요.
사진이 말하게 하기개발자라면: API도 있습니다

Needle 2의 기능

Needle 2는 Cactus Compute가 만든 소형 언어 모델로, 일상적인 언어로 된 요청을 알맞은 함수 호출로 바꾸거나 텍스트에서 타입이 지정된 필드를 추출하는 한 가지 작업을 위해 만들어졌습니다. Cactus는 2026년 8월 9일에 이 모델을 출시했으며, 45M 파라미터 모델을 가중치당 약 2비트로 압축해 자체 엔진에 내장했기 때문에 전체가 14 MB 단일 바이너리이고 세션 최대 RAM은 약 28 MB입니다. 대화 기능은 없습니다. 사용자가 도구(docstring이 있는 Python 함수 또는 JSON 스키마)를 선언하면 Needle이 호출할 도구를 고르고 인자를 채웁니다. 사용자의 스키마에서 컴파일된 바이트 수준 문법이 모든 토큰을 제약하므로 출력은 항상 파싱됩니다. 각 응답에는 보정된 신뢰도 점수가 포함되어, 앱은 임계값 이상이면 실행하고 그 미만이면 (예: 클라우드 모델로) 에스컬레이션할 수 있습니다. 검색 헤드(retrieval head) 덕분에 대규모 도구 카탈로그를 선언하더라도 턴마다 모델에는 상위 5개 도구만 표시됩니다.

Cactus는 Needle 2가 Raspberry Pi 5에서 초당 약 500 토큰, Samsung A-Series 같은 200달러 미만 휴대폰에서 300700 토큰을 디코딩하며, Apple, Windows, Linux, Android, Raspberry Pi 전반의 ARM64, x86-64, ARMv7, RISC-V, WebAssembly에서 ESP32 같은 마이크로컨트롤러까지 실행된다고 밝힙니다. 설치는 pip install cactus-needle로 합니다. 2026년 9월 17일 Cactus는 Needle 3를 출시했습니다. 829 MB 크기의 모델(29M121M 파라미터, 220개 레이어 중 임의의 깊이)로, 텍스트 임베딩이 추가되었고 Cactus의 Whistle 음성 모델과 함께 사용할 수 있습니다. 현재 패키지는 기본적으로 Needle 3를 실행하며, 기존 배포를 위해 generation=2로 Needle 2를 계속 사용할 수 있습니다.

Needle 2 가격

옵션가격포함 내용
Needle 2 가중치 및 엔진무료, Apache License 2.0Hugging Face의 모델 바이너리, Python 패키지 cactus-needle, GitHub의 소스 및 학습 코드
Needle 3 (현재 모델)무료, Apache License 2.0동일한 패키지, Hugging Face의 가중치, 파인튜닝 가능한 체크포인트 및 플랫폼별 엔진
Cactus의 맞춤형 파인튜닝 또는 하이브리드 체크포인트가격 미공개, 영업팀 문의Cactus는 "Talk to us" 문의를 통해 파인튜닝과 온디맨드 post-training을 제공함

호출당 요금은 없습니다. 모델은 사용자 기기에서 오프라인으로 실행됩니다. Cactus는 가격 페이지를 공개하지 않습니다.

가격은 2026년 11월 3일에 공급업체 사이트에서 확인했습니다. cactuscompute.com 및 Needle 2 모델 카드를 참조하세요.

주요 기능

Cactus의 Needle 2 출시 게시물과 모델 카드에 나와 있는 내용은 다음과 같습니다.

  • 가중치당 약 2비트(CQ2-bit)의 45M 파라미터, 14 MB 바이너리, 약 28 MB 세션 RAM
  • 자체 완결형: 모델이 바이너리에 내장되어 런타임 다운로드와 네트워크가 필요 없음
  • 도구 호출과 구조화된 추출, 사용자 스키마에서 컴파일된 문법으로 제약된 JSON으로 반환
  • 실행 또는 에스컬레이션 판단을 위해 모든 응답에 보정된 신뢰도 점수 제공
  • 도구 검색: 대규모 카탈로그 지원, 턴마다 상위 5개 도구 표시
  • 도구가 고정된 256 토큰 슬라이딩 윈도우로 긴 세션에서도 메모리가 일정하게 유지됨
  • ARM64, x86-64, ARMv7, RISC-V, WebAssembly에서 실행, Python 패키지 cactus-needle
  • 통합 전에 예제 도구를 사용해 볼 수 있는 브라우저 샌드박스

Needle 2가 가장 적합한 사용자

Needle은 저가형 또는 오프라인 하드웨어에 음성 또는 텍스트 제어를 구현하려는 개발자에게 적합합니다. 스마트 홈 기기, 웨어러블, 로봇, 보급형 휴대폰, Raspberry Pi 프로젝트, 마이크로컨트롤러처럼 일반 LLM이 들어가지 않고, 문장을 알려진 함수 집합에 매핑하는 것이 목적인 환경입니다. 챗봇이 아니며 내세울 만한 일반 지식도 없습니다. 신규 프로젝트에는 Cactus가 현재 권장하며 동일한 패키지에서 실행되는 Needle 3로 시작하세요. Needle 2는 이미 배포하여 동작을 그대로 유지하려는 경우에만 사용하세요.

조금 더 큰 범용 소형 모델이 필요하다면 Google의 Gemma 제품군(Cactus가 비교 벤치마크 대상으로 삼은 FunctionGemma 포함)을 살펴보세요. 직접 만든 PyTorch 모델을 휴대폰에서 실행하려면 ExecuTorch를, 웨이크 워드와 의도 인식을 갖춘 상용 온디바이스 음성 솔루션은 Picovoice를 참조하세요.

사용자 평가

반응은 엇갈렸습니다. Show HN 출시에 대한 Developers Digest 기사에 따르면, 댓글 작성자들은 크기와 브라우저 내 데모를 좋게 평가했지만, 데모에서 확신에 차 있지만 잘못된 호출(예: 방을 더 따뜻하게 해 달라는 요청에 온도 조절기를 냉방으로 설정)을 게시했고 벤치마크가 제시된 방식에 의문을 제기했습니다. 해당 기사에 인용된 Cactus 자체 수치에 따르면 Needle 2는 BFCL v4 single-turn에서 42.6점을 기록했으며, FunctionGemma 270M은 46.1, LFM2.5 230M은 60.8, Apple FM은 61.7이었습니다. 이때 Needle 2는 2비트로, 다른 모델은 16비트 가중치로 실행되었습니다. Cactus Compute 팀이 작성한 Raspberry Pi 블로그 글은 Pi 5에서 호출당 약 80~110 ms로 LED를 제어하고 CPU 온도를 읽는 모습을 보여줍니다. 의존하기 전에 사용하는 도구 세트로 직접 테스트하세요.

장점

  • 초소형: 14 MB 바이너리, 약 28 MB RAM, CPU만으로 실행
  • 무료 Apache-2.0 가중치, 완전한 오프라인 실행
  • 스키마로 컴파일된 문법 덕분에 출력이 항상 파싱 가능
  • 신뢰도 점수로 클라우드 폴백을 쉽게 구성 가능
  • 휴대폰, Pi, 브라우저(WebAssembly), 마이크로컨트롤러에서 실행

단점

  • Needle 3로 대체되었으며, 주로 기존 배포 환경을 위해 유지됨
  • BFCL v4 single-turn에서 더 큰 소형 모델보다 낮은 점수를 기록함
  • 출시 당시 테스터들이 확신에 차 있지만 잘못된 도구 호출을 보고함
  • 일반 대화나 일반 상식 지식은 지원하지 않음

자주 묻는 질문

Needle 2란 무엇인가요?

Cactus Compute가 만든 45M 파라미터 모델로, 온디바이스 도구 호출, 기기 제어, 구조화된 데이터 추출에 사용됩니다. 14 MB 단일 바이너리로 제공되며 약 28 MB의 RAM에서 실행되고, 네트워크가 필요하지 않습니다. 문법으로 제약된 JSON과 신뢰도 점수를 반환합니다.

Needle 2는 무료인가요?

네. Hugging Face의 Needle 2 모델 카드에 Apache License 2.0이 명시되어 있으며, 코드는 GitHub에서 확인할 수 있습니다. 모델이 사용자 기기에서 직접 실행되므로 호출당 요금은 없습니다. Cactus의 맞춤형 파인튜닝 작업에 대한 가격은 공개되어 있지 않습니다.

Needle 2와 Needle 3의 차이점은 무엇인가요?

2026년 9월 17일에 출시된 Needle 3는 829 MB 크기의 모델(29M121M 파라미터, 2~20개 레이어 범위에서 깊이 선택 가능)로, 텍스트 임베딩이 추가되었으며 Whistle 음성 모델과 함께 사용할 수 있습니다. 동일한 cactus-needle 패키지가 기본적으로 Needle 3를 실행하며, Needle 2를 계속 사용하려면 generation=2를 지정하면 됩니다.

Needle 2는 어떤 기기에서 실행할 수 있나요?

Cactus는 Apple, Windows, Linux, Android, Raspberry Pi에서 ARM64, x86-64, ARMv7, RISC-V, WebAssembly 빌드를 지원한다고 밝히고 있습니다. Raspberry Pi 5에서 초당 약 500 토큰 디코딩, 200달러 미만 휴대폰에서 300~700 토큰, 그리고 ESP32 같은 마이크로컨트롤러에서의 실행을 제시합니다.

Needle 2는 대화하거나 질문에 답할 수 있나요?

아니요. Cactus는 의도적으로 일반 대화 능력을 줄이고 도구 호출과 추출 성능에 집중했습니다. 요청을 사용자가 선언한 함수에 매핑하며, 관련 없는 요청에는 추측하지 않고 빈 목록을 반환합니다.

Needle 2의 정확도는 어느 정도인가요?

Cactus는 도구 호출 벤치마크에서 FunctionGemma 270M, LFM2.5 230M, Apple FM과 대등한 결과를 내면서 크기는 5배~70배 작다고 설명합니다. BFCL v4 single-turn에서는 42.6점을 기록해 이 세 모델보다 낮았습니다. Hacker News의 출시 테스터들은 확신에 차 있지만 잘못된 호출이 있었다고 보고했으므로, 사용하는 도구로 직접 검증하시기 바랍니다.

대안 비교

Needle 2

프리미엄(무료+유료) · API

Stork 블로그에서

이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.

하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음