27Bモデル、コンシューマー向けGPUに収まるサイズへ圧縮
Underdog Saluki 27B 1.0は、270億パラメータの言語モデルをわずか7.89GBに圧縮するという重要な偉業を成し遂げました。これは、フル精度のQwen 27Bが約54〜55GB、標準的な4ビット量子化バージョンでも通常約16.5GBを占有することと比較すると、劇的な違いです。この極端な削減により、大規模なLLMがコンシューマー向けハードウェアで利用可能になりました。
このサイズ削減は、モデルの内部ウェイトの数値表現を縮小するプロセスである、積極的な「量子化（quantization）」によって実現されています。Salukiは各ウェイトを約2.35ビットで表現しており、元のフル精度モデルで使用されていた16ビットから劇的に減少しています。これは必然的に忠実度を多少犠牲にしますが、メモリフットプリントを大幅に削減します。
ローカル環境へのデプロイにおいて、Saluki 27Bは使いやすさを重視して設計されています。カスタムフォークを必要とせず、標準のllama.cppやOllamaで動作します。12GBのVRAMを搭載したGPUでもモデルを実行できる可能性がありますが、パフォーマンス（特にコンテキスト長や生成速度）は、利用可能なメモリと「GPUオフロード」の程度に依存します。
驚きの勝利：知能ではなくツール呼び出し
Salukiの真の魅力は、生の知能ではなく「エージェント機能（agentic capabilities）」にあります。テストの結果、ソルトレイクシティ、ドバイ、サイゴンの天気予報ツールを正しく選択し、構造化された引数を提供するなど、説得力のあるツール呼び出し動作が明らかになりました。重要な点として、このモデルはツールを使うべきではない時を判断し、適切な場合には直接回答することもできました。
この特化型のチューニングにより、驚くべきベンチマーク結果が得られました。Underdogのツール呼び出しベンチマークにおいて、Salukiは120点中88点を獲得しました。これは、ベースとなったISTA-DASLabの量子化モデルの76点、さらには54GBのフル精度Qwen 27Bが報告した84点をも上回る数値です。
この一見矛盾する結果は、設計論理によって説明できます。Underdogは、すべての能力を均等に維持することよりも、「ツール選択」と「スキーマ追従」を優先しました。これはエージェントワークフローのための意図的なトレードオフです。モデルが圧縮された「知識」をどこに割り当てるかに焦点を当てることで、開発者は特定の機能を強化することができました。
例えば、Salukiはツール呼び出しには優れていますが、他の領域では犠牲を払っています。AIME 2025の数学スコアは元のモデルの94から79.2に低下し、SWE-bench verifiedスコアは33から30に減少しました。これは、全体的なパフォーマンスの向上ではなく、標的を絞った量子化戦略であることを示しています。
Salukiの完全なトレーニング詳細は公開されておらず、ツール使用とスキーマ追従をターゲットにした重要度行列（imatrix）によるキャリブレーションパスの詳細は不明です。そのため、その印象的でありながらも特化されたパフォーマンス向上の背後にある正確なメカニズムを特定することは困難です。
数学、そしておそらく速度における代償
極端な圧縮には代償が伴います。それは、一般的な知能ベンチマークの大幅な低下です。SalukiのAIME 2025数学スコアは、元のモデルの96.7から79へと急落しました。同様に、SWE-bench Verifiedのパフォーマンスも33/50から30/50へと低下しました。このトレードオフは、狭いながらも重要な機能に最適化されたモデルであることを示しています。
Tool-callingの品質自体は、すべての条件下で一様に高いわけではありません。SalukiはUnderdog独自のTool-callingベンチマークで120点中88点を獲得していますが、並列呼び出し（parallel-call）のスコアは、厳格なパーサーを使用した場合は42、寛容なパーサーを使用した場合は55と変動します。88/120というスコアを含む報告された結果のほとんどは、開発者によるベンチマークに基づいています。詳細およびモデルカードについては、ConwayResearch/Underdog-Saluki-27B-1.0 - Hugging Faceを参照してください。
重要な点として、モデルサイズが小さいからといって実行速度が速くなるとは限りません。独立したエージェントループのテストでは、Salukiはテストされたモデルの中で最も遅く、1分間に約10ステップを処理する結果となりました。特定された主なボトルネックは、モデルが応答を生成する前に入力コンテキストを処理する段階である「prefill」です。ウェイトが小さくなればVRAMのフットプリントは削減されますが、エージェントワークフローにおけるタスク完了までの全体的な時間が自動的に短縮されるわけではありません。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
Salukiを試すべき人、避けるべき人
Salukiの極端な量子化は、特定のニッチな需要を生み出しています。12〜16GBのVRAMを利用でき、ローカルでのエージェント実験や構造化されたTool-callingを優先する開発者にとって、Salukiは魅力的な選択肢となるでしょう。7.89GBというフットプリントと、堅牢なllama.cppとの互換性により、ローカル環境へのデプロイが容易になります。
しかし、ワークフローで強力な数学的推論、コーディング能力、または広範な汎用知能が求められる場合は、標準的な4-bitのQwenバージョンの方が依然として優れた選択肢です。これらのモデルは通常約24GBのVRAMを必要としますが、AIME 2025やSWE-bench Verifiedのスコアが示すように、元の27Bモデルのコア能力をより多く保持しています。
Tool-callingの88/120というスコアについては、実用的な注意を持って接してください。Underdogのベンチマークは有望ではあるものの、特定のテストハーネスを使用しており、独立した評価はまだ限られています。「thinking」を無効にする、Tool-specificな呼び出しに対して温度（temperature）をゼロに設定するなど、最適なパフォーマンスを得るためのガイダンスについては、常にモデルカードを参照してください。
最終的に、Salukiは「コンシューマー向けハードウェアで27Bモデルを扱える」という比類のない利点と、「狭く専門的な用途に限定される」というトレードオフを体現しています。その限界を理解した上で、強みを効果的に活用してください。
よくある質問
Underdog Saluki 27Bとは何ですか？
これは、Tool-callingを優先するように調整された、約7.9GBのサイズに高度に量子化されたQwen 27Bモデルです。
Saluki 27Bは12GBのGPUで動作しますか？
適切なランタイムと設定を行えば一部の12GB GPUに収まりますが、利用可能なメモリ、コンテキスト長、GPUオフロードの設定がパフォーマンスに影響します。
SalukiはオリジナルのQwen 27Bより優れていますか？
報告されたTool-callingベンチマークの1つでは高いスコアを出しましたが、数学や一部のコーディングテストでは劣る結果となりました。また、結果については独立した検証が必要です。
モデルファイルが小さいほど、エージェントの実行は速くなりますか？
いいえ。ウェイトが小さくなるとメモリ要件は減りますが、prefillやその他のエージェントループのボトルネックにより、実行速度が遅くなる可能性があります。