8GB로 압축된 27B 모델
원래 BF16 전체 정밀도 형식에서 54~55GB의 저장 공간을 차지하던 27B 파라미터 AI 모델이 단 7.89GB로 압축되었습니다. 이러한 극적인 축소는 자원 집약적인 모델을 더 넓은 범위의 하드웨어에서 로컬로 배포할 수 있는 모델로 탈바꿈시킵니다.
Underdog Saluki 27B 1.0이라 불리는 이 소형 버전은 매우 공격적인 2비트 수준의 IQ2-mix 양자화(quantization)를 활용합니다. 균형 잡힌 성능을 목표로 하는 일반적인 양자화 방식과 달리, Saluki는 양자화된 기준선에서 시작하여 매우 타겟팅된 사후 양자화 튜닝을 적용합니다. 이 과정은 모델 가중치의 정밀도를 낮추어 모델 크기를 크게 줄이지만, 타겟팅되지 않은 영역에서 성능이 저하될 위험을 높입니다.
이러한 최소한의 용량은 더 넓은 접근성을 위해 필수적입니다. 7.89GB의 GGUF 파일은 16GB 통합 메모리를 탑재한 노트북이나 단일 RTX 3080/4070급 그래픽 카드와 같은 일부 소비자용 GPU의 VRAM에 완전히 들어갈 수 있습니다. 사용자는 메모리 및 컨텍스트 요구 사항에 따라 Ollama 또는 LM Studio와 같은 llama.cpp 호환 도구를 사용하여 Saluki를 배포할 수 있으며, 이를 통해 클라우드 자원 없이 로컬 추론이 가능합니다.
에이전트가 가장 필요로 하는 곳에서 승리하다
Underdog Saluki의 타겟팅된 최적화는 AI 에이전트가 가장 필요로 하는 부분에서 성과를 냅니다. 모델 카드와 보고된 평가에 따르면, Saluki는 120개 작업으로 구성된 Underdog Bench에서 88/120점을 기록하여 원본 모델의 84/120점을 넘어섰습니다. 병렬 도구 호출 능력 또한 원본의 35점에서 42점으로 눈에 띄게 향상되었습니다.
도구 호출 벤치마크에 대한 이러한 집중적인 개선은 로컬 AI 어시스턴트의 실질적인 이점으로 직결됩니다. 신뢰할 수 있는 스키마 준수(schema-following), 유효한 구조화된 출력, 효율적인 도구 배포는 추상적인 퍼즐이나 복잡한 수학 문제를 해결하는 것보다 기능적인 로컬 에이전트에게 더 중요한 경우가 많습니다. 올바르게 형식화된 JSON을 일관되게 제공하거나 외부 도구를 정확하게 호출하는 에이전트는 즉각적인 가치를 더합니다.
하지만 이는 타겟팅된 승리일 뿐입니다. 이 성과는 비교적 작고 메이커 중심의 벤치마크에서 나온 것입니다. 압축된 모델이 양자화되지 않은 더 큰 원본 모델보다 전반적으로 더 뛰어나다는 것을 증명하는 것은 아닙니다. 27B 모델을 7.89GB로 줄이는 공격적인 2비트 양자화는 특히 추상적 추론과 수학적 적성에서 상당한 트레이드오프를 발생시키며, 이에 대해서는 다음 섹션에서 다룰 것입니다.
수학과 코딩에서 대가를 치르다
이러한 성능 향상에는 상당한 대가가 따릅니다. Underdog Saluki는 도구 사용에는 탁월하지만, 범용 추론 능력은 급격히 떨어집니다. AIME 2025 수학 벤치마크에서 원본 모델은 96.7점을 기록했지만, Saluki는 79점에 그쳐 17점 이상 하락했습니다.
마찬가지로 코딩 능력도 저하됩니다. 50개 작업으로 구성된 SWE-bench Verified 결과에서 Saluki는 33점에서 30점으로 떨어졌습니다. 이는 구조화된 출력이나 API 호출과 같은 특정 행동을 개선하기 위한 타겟팅된 미세 조정이 이루어지더라도, 공격적인 압축이 핵심 분석 능력을 어떻게 손상시킬 수 있는지를 보여줍니다.
두 결과가 동시에 사실일 수 있는 이유는 모델의 튜닝이 더 좁은 범위의 행동을 우선시했기 때문입니다. Conway Research/Underdog AI가 Saluki를 압축한 것처럼 모델을 공격적으로 압축할 때는 어떤 능력을 보존할지 결정해야 합니다. 여기서는 도구 사용과 형식화에 초점을 맞추었으며, 이로 인해 복잡한 수학적 및 논리적 추론 능력의 저하가 발생했습니다.
독자는 벤치마크 수치를 신중하게 접근해야 합니다. 작업 선택, 샘플 크기, 프롬프팅 전략 및 평가 설정은 모두 보고된 결과에 영향을 미칩니다. 다양한 애플리케이션 전반에서 모델의 진정한 능력을 이해하려면 독립적인 테스트가 여전히 중요합니다. 아키텍처 및 성능에 대한 자세한 내용은 Hugging Face의 Underdog-Saluki-27B-1.0 모델 카드를 참조하십시오.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
실제로 누가 Saluki를 실행해야 할까요?
실제로 누가 Saluki를 실행해야 할까요?
Saluki는 경량 로컬 에이전트를 위한 틈새 시장을 개척합니다. 호출을 라우팅하거나, API와 상호 작용하거나, 구조화된 출력 기능이 빛을 발하는 일상적인 어시스턴트 기능을 처리하는 소형 모델이 필요한 작업에 고려해 보십시오. 7.89 GB GGUF는 소비자용 하드웨어에 적합하여 타겟팅된 에이전트 워크플로우에 대한 로컬 배포를 실현 가능하게 합니다.
그러나 수학 중심 작업, 복잡한 코딩 또는 광범위한 추론에는 Saluki를 피하십시오. AIME 2025 점수는 96.7에서 79로 떨어지며, SWE-bench Verified 결과는 33에서 30으로 하락합니다. 4비트 12B–14B 모델이나 덜 공격적으로 양자화된 27B 변형 모델이 이러한 까다로운 애플리케이션을 위한 더 나은 출발점을 제공하며, 원래 모델의 잠재적 능력을 더 많이 보존합니다.
8GB 미만의 크기를 무료 업그레이드가 아닌 트레이드오프(상충 관계)로 취급하십시오. 귀하의 정확한 도구와 프롬프트로 Saluki를 테스트하십시오. 상위 모델의 더 강력한 양자화 버전과 비교하여 신뢰성과 지연 시간을 확인하십시오. 이러한 실용적인 결정 규칙은 애플리케이션에 필요한 깊은 추론이나 수학적 정확성을 희생하지 않으면서도 Saluki의 도구 호출 강점을 활용할 수 있게 해줍니다.
자주 묻는 질문(FAQ)
Underdog Saluki 27B란 무엇인가요?
이는 도구 호출을 우선시하도록 튜닝되었으며, 고도로 압축된 7.89 GB GGUF로 배포되는 270억 개의 매개변수 모델입니다.
압축된 모델이 어떻게 도구 호출에서 더 큰 원본 모델을 능가할 수 있나요?
Saluki는 구조화된 도구 사용을 위해 특별히 튜닝되었으므로 다른 영역에서 능력을 잃더라도 해당 작업에서 더 나은 성능을 발휘할 수 있습니다.
Saluki는 원본 모델과 비교하여 무엇을 잃나요?
보고된 결과에 따르면 AIME 2025 수학에서 큰 폭의 하락이 나타났으며, 50개 작업의 SWE-bench Verified 평가에서 약간의 감소가 나타났습니다.
Saluki를 소비자용 GPU에서 실행할 수 있나요?
7.89 GB의 용량은 일부 소비자용 GPU 메모리에 맞을 수 있지만, 실제 요구 사항은 런타임, 컨텍스트 길이 및 기타 시스템 사용량에 따라 달라집니다.