소비자용 GPU에 맞게 축소된 27B 모델
Underdog Saluki 27B 1.0은 270억 개의 파라미터를 가진 언어 모델을 단 7.89GB로 압축하는 중요한 성과를 달성했습니다. 이는 약 54~55GB를 차지하는 전체 정밀도 Qwen 27B나 일반적으로 약 16.5GB인 표준 4비트 양자화 버전과 극명하게 대비됩니다. 이러한 극단적인 축소 덕분에 대규모 LLM을 소비자용 하드웨어에서 사용할 수 있게 되었습니다.
이러한 크기 축소는 모델 내부 가중치의 수치 표현을 줄이는 과정인 공격적인 양자화(quantization)를 통해 달성됩니다. Saluki는 각 가중치를 약 2.35비트로 표현하는데, 이는 원래 전체 정밀도 모델에서 사용된 16비트에서 대폭 감소한 수치입니다. 이 과정에서 필연적으로 일부 정확도가 희생되지만, 메모리 사용량은 획기적으로 줄어듭니다.
로컬 배포를 위해 Saluki 27B는 사용 편의성을 고려하여 설계되었습니다. 별도의 커스텀 포크 없이 기본 llama.cpp 및 Ollama와 함께 작동합니다. 12GB VRAM을 갖춘 GPU에서 모델을 실행할 수 있지만, 성능(특히 컨텍스트 길이 및 생성 속도)은 가용 메모리와 GPU 오프로드(GPU offload) 정도에 따라 달라집니다.
놀라운 승리: 지능이 아닌 도구 호출(Tool Calls)
Saluki의 진정한 매력은 순수한 지능이 아니라 에이전트 기능(agentic capabilities)에서 나타납니다. 테스트 결과, 솔트레이크시티, 두바이, 사이공에 대한 날씨 도구를 올바르게 선택하고 구조화된 인수를 제공하는 등 설득력 있는 도구 호출 동작을 보였습니다. 결정적으로, 이 모델은 도구를 사용하지 말아야 할 때를 파악하여 적절한 경우 직접 답변하기도 했습니다.
이러한 특화된 튜닝은 놀라운 벤치마크 결과를 가져왔습니다. Underdog의 도구 호출 벤치마크에서 Saluki는 120점 만점에 88점을 기록했습니다. 이는 기반이 된 ISTA-DASLab 양자화 모델의 76점은 물론, 전체 54GB Qwen 27B의 보고된 점수인 84점까지 넘어선 수치입니다.
설계 논리는 이러한 명백한 역설을 설명합니다. Underdog은 모든 기능을 동일하게 유지하는 것보다 도구 선택과 스키마 준수(schema-following)를 우선시했으며, 이는 에이전트 워크플로우를 위한 의도적인 절충안입니다. 모델이 압축된 "지식"을 어디에 할당할지에 집중함으로써 개발자는 특정 기능을 향상할 수 있었습니다.
예를 들어, Saluki는 도구 호출에는 탁월하지만 다른 영역에서는 희생이 따릅니다. AIME 2025 수학 점수는 원래 모델의 94점에서 79.2점으로 떨어졌고, SWE-bench 검증 점수는 33점에서 30점으로 하락했습니다. 이는 일반적인 성능 향상이 아닌 목표 지향적인 양자화 전략임을 보여줍니다.
Saluki에 대한 전체 학습 세부 정보는 공개되지 않았으며, 도구 사용 및 스키마 준수를 목표로 하는 중요도 행렬(imatrix)을 통한 보정 과정의 세부 사항도 밝혀지지 않았습니다. 이로 인해 인상적이지만 특화된 성능 향상의 정확한 메커니즘을 확인하기는 어렵습니다.
수학 점수, 그리고 어쩌면 속도에서 대가를 치르다
극단적인 압축에는 대가가 따릅니다. 바로 일반 지능 벤치마크의 상당한 하락입니다. Saluki의 AIME 2025 수학 점수는 원래 모델의 96.7점에서 79점으로 급락했습니다. 마찬가지로 SWE-bench Verified 성능도 33/50에서 30/50으로 떨어졌습니다. 이러한 절충안은 좁지만 중요한 기능을 위해 최적화된 모델임을 보여줍니다.
Tool-calling 품질 자체가 모든 조건에서 균일하게 높지는 않습니다. Saluki는 Underdog 자체 tool-calling 벤치마크에서 120점 만점에 88점을 기록했지만, 병렬 호출(parallel-call) 점수는 엄격한 파서(strict parser) 사용 시 42점에서 관대한 파서(lenient one) 사용 시 55점까지 다양하게 나타납니다. 88/120점을 포함하여 보고된 대부분의 결과는 개발자의 벤치마크에서 비롯된 것입니다. 자세한 내용과 모델 카드는 ConwayResearch/Underdog-Saluki-27B-1.0 - Hugging Face를 참조하십시오.
중요한 점은 모델 크기가 작다고 해서 실행 속도가 반드시 빠른 것은 아니라는 것입니다. 독립적인 에이전트 루프 테스트 결과, Saluki는 테스트된 모델 중 가장 느린 것으로 나타났으며 분당 약 10단계의 처리 속도를 보였습니다. 확인된 주요 병목 현상은 모델이 응답을 생성하기 전에 입력 컨텍스트를 처리하는 단계인 prefill이었습니다. 가중치가 작아지면 VRAM 사용량은 줄어들지만, 에이전트 워크플로우에서 전체 작업 완료 속도가 자동으로 빨라지지는 않습니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
Saluki를 사용해 볼 대상과 피해야 할 대상
Saluki의 극단적인 양자화는 틈새 시장을 형성합니다. 12~16GB의 VRAM을 사용할 수 있고 로컬 에이전트 실험과 구조화된 tool calling을 우선시하는 개발자들에게 Saluki는 매력적인 옵션이 될 것입니다. 7.89GB의 용량과 강력한 llama.cpp 호환성 덕분에 로컬 배포가 간편합니다.
하지만 워크플로우에서 강력한 수학적 추론, 코딩 능력 또는 폭넓은 일반 지능이 요구된다면 표준 4-bit Qwen 버전을 선택하는 것이 더 낫습니다. 이러한 모델은 일반적으로 약 24GB의 VRAM이 필요하지만, 더 높은 AIME 2025 및 SWE-bench Verified 점수에서 알 수 있듯이 원래 27B 모델의 핵심 기능을 더 많이 유지합니다.
88/120 tool calling 점수는 실용적인 관점에서 주의 깊게 접근해야 합니다. Underdog의 벤치마크는 유망하지만 특정 테스트 환경을 사용하며, 독립적인 평가는 여전히 제한적입니다. “thinking” 기능을 비활성화하고 tool-specific 호출 시 온도를 0으로 설정하는 등 최적의 성능을 위한 지침은 항상 모델 카드를 참조하십시오.
결국 Saluki는 소비자용 하드웨어에서 27B 모델을 사용할 수 있다는 독보적인 장점과 좁고 전문화된 초점이라는 흥미로운 상충 관계를 보여줍니다. 그 강점을 효과적으로 활용하려면 한계를 이해하는 것이 중요합니다.
자주 묻는 질문
Underdog Saluki 27B란 무엇인가요?
이는 tool calling을 우선시하도록 튜닝된 약 7.9GB 크기의 고도로 양자화된 Qwen 27B 모델입니다.
Saluki 27B를 12GB GPU에서 실행할 수 있나요?
적절한 런타임과 설정을 사용하면 일부 12GB GPU에 탑재할 수 있지만, 가용 메모리, 컨텍스트 길이, GPU 오프로드 여부가 성능에 영향을 미칩니다.
Saluki가 원본 Qwen 27B보다 더 나은가요?
보고된 하나의 tool-calling 벤치마크에서는 더 높은 점수를 받았지만, 수학 및 일부 코딩 테스트에서는 더 낮은 성능을 보였습니다. 또한 결과에 대한 독립적인 검증이 필요합니다.
모델 파일이 작으면 에이전트 실행 속도가 더 빠른가요?
아니요. 가중치가 작으면 메모리 요구량은 줄어들지만, prefill 및 기타 에이전트 루프 병목 현상으로 인해 실행 속도가 여전히 느릴 수 있습니다.