Needle 2의 기능
Needle 2는 Cactus Compute가 만든 소형 언어 모델로, 일상적인 언어로 된 요청을 알맞은 함수 호출로 바꾸거나 텍스트에서 타입이 지정된 필드를 추출하는 한 가지 작업을 위해 만들어졌습니다. Cactus는 2026년 8월 9일에 이 모델을 출시했으며, 45M 파라미터 모델을 가중치당 약 2비트로 압축해 자체 엔진에 내장했기 때문에 전체가 14 MB 단일 바이너리이고 세션 최대 RAM은 약 28 MB입니다. 대화 기능은 없습니다. 사용자가 도구(docstring이 있는 Python 함수 또는 JSON 스키마)를 선언하면 Needle이 호출할 도구를 고르고 인자를 채웁니다. 사용자의 스키마에서 컴파일된 바이트 수준 문법이 모든 토큰을 제약하므로 출력은 항상 파싱됩니다. 각 응답에는 보정된 신뢰도 점수가 포함되어, 앱은 임계값 이상이면 실행하고 그 미만이면 (예: 클라우드 모델로) 에스컬레이션할 수 있습니다. 검색 헤드(retrieval head) 덕분에 대규모 도구 카탈로그를 선언하더라도 턴마다 모델에는 상위 5개 도구만 표시됩니다.
Cactus는 Needle 2가 Raspberry Pi 5에서 초당 약 500 토큰, Samsung A-Series 같은 200달러 미만 휴대폰에서 300700 토큰을 디코딩하며, Apple, Windows, Linux, Android, Raspberry Pi 전반의 ARM64, x86-64, ARMv7, RISC-V, WebAssembly에서 ESP32 같은 마이크로컨트롤러까지 실행된다고 밝힙니다. 설치는 29 MB 크기의 모델(29Mpip install cactus-needle로 합니다. 2026년 9월 17일 Cactus는 Needle 3를 출시했습니다. 8121M 파라미터, 220개 레이어 중 임의의 깊이)로, 텍스트 임베딩이 추가되었고 Cactus의 Whistle 음성 모델과 함께 사용할 수 있습니다. 현재 패키지는 기본적으로 Needle 3를 실행하며, 기존 배포를 위해 generation=2로 Needle 2를 계속 사용할 수 있습니다.
