8GBに圧縮された27Bモデル
本来はフル精度のBF16フォーマットで54〜55GBのストレージを消費する27BパラメータのAIモデルが、わずか7.89GBにまで圧縮されました。この劇的な削減により、リソースを大量に消費するモデルが、より幅広いハードウェアでローカル展開できる可能性が開かれました。
「Underdog Saluki 27B 1.0」と名付けられたこのコンパクト版は、極めて低い約2ビットの「IQ2-mix量子化」を活用しています。バランスの取れたパフォーマンスを目指す標準的な量子化手法とは異なり、Salukiのアプローチは量子化されたベースラインから開始し、高度にターゲットを絞った量子化後のチューニングを採用しています。このプロセスによりモデルの重みの精度が低下し、フットプリントは大幅に小さくなりますが、ターゲット外の領域で能力が低下するリスクも高まります。
このような最小限のフットプリントは、アクセシビリティを広げる上で不可欠です。7.89GBのGGUFファイルは、16GBのユニファイドメモリを搭載したノートPCや、RTX 3080/4070クラスのグラフィックボードなど、一部のコンシューマー向けGPUのVRAMに完全に収まる可能性があります。ユーザーは、メモリとコンテキストの要件に応じて、OllamaやLM Studioといったllama.cpp互換ツールを使用してSalukiを展開でき、クラウドに依存せずにローカルでの推論が可能になります。
エージェントが最も必要とする分野で勝利
Underdog Salukiのターゲットを絞った最適化は、AIエージェントが最も必要とする分野でその真価を発揮します。モデルカードと報告された評価によると、Salukiは120タスクのUnderdog Benchで88/120を記録し、元のモデルの84/120を上回りました。並列ツール呼び出し能力も大幅に向上し、元の35に対して42を達成しています。
ツール呼び出しベンチマークにおけるこの集中的な改善は、ローカルAIアシスタントにとって直接的な実用的メリットにつながります。信頼性の高い「スキーマ追従」、有効な構造化出力、効率的なツールディスパッチは、抽象的なパズルや複雑な数学的問題を解くことよりも、機能的なローカルエージェントにとって重要であることが多々あります。正しくフォーマットされたJSONを一貫して提供したり、外部ツールを正確に呼び出したりできるエージェントは、即座に価値をもたらします。
しかし、これはターゲットを絞った勝利に過ぎません。この成果は、比較的小規模でメーカー関連のベンチマークによるものです。圧縮されたモデルが、量子化されていない元の大きなモデルよりも全体的に優れていることを証明するものではありません。27Bモデルを7.89GBに縮小する過激な2ビット量子化は、特に抽象的な推論や数学的適性において重大なトレードオフをもたらしており、これについては次に詳しく解説します。
数学とコーディングで支払う代償
そのパフォーマンス向上には、大きなトレードオフが伴います。Underdog Salukiはツール使用には優れていますが、汎用的な推論能力は急激に低下しています。AIME 2025数学ベンチマークでは、元のモデルが96.7を記録したのに対し、Salukiは79にとどまり、17ポイント以上の低下となりました。
同様に、コーディング能力も低下しています。50タスクのSWE-bench VerifiedにおけるSalukiの結果は、33から30に減少しました。これは、構造化出力やAPI呼び出しのような特定の動作をターゲットにした微調整を行ったとしても、過激な圧縮がコアとなる分析能力を損なう可能性があることを示しています。
どちらの結果も同時に真実となり得るのは、モデルのチューニングがより狭い範囲の動作を優先したためです。Conway Research/Underdog AIがSalukiで行ったようにモデルを過激に圧縮する場合、どの能力を維持するかを選択しなければなりません。今回の場合、焦点はツール使用とフォーマットに置かれ、その結果、複雑な数学的推論や論理的推論における劣化を許容することになりました。
読者はベンチマークの数値に対して慎重であるべきです。タスクの選択、サンプルサイズ、プロンプト戦略、評価設定のすべてが報告される結果に影響を与えます。モデルの多様なアプリケーションにおける真の能力を理解するには、独立したテストが不可欠です。アーキテクチャとパフォーマンスの詳細については、Hugging FaceのUnderdog-Saluki-27B-1.0モデルカードを参照してください。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
実際にSalukiを実行すべきなのは誰か？
実際にSalukiを実行すべきなのは誰か？
Salukiは軽量なローカルエージェントというニッチな分野を開拓しています。呼び出しのルーティング、APIとの対話、または構造化された出力能力が活きる日常的なアシスタント機能など、コンパクトなモデルを必要とするタスクに検討してください。7.89 GBのGGUFはコンシューマー向けハードウェアに適合するため、ターゲットを絞ったエージェントワークフローでのローカル展開が可能です。
ただし、数学を多用する作業、複雑なコーディング、または広範な推論にはSalukiを避けてください。AIME 2025のスコアは96.7から79に低下し、SWE-bench Verifiedの結果は33から30に低下します。これらの要求の厳しいアプリケーションには、4ビットの12B–14Bモデルや、より控えめに量子化された27Bバリアントの方が、元のモデルの潜在能力をより多く保持できるため、より良い出発点となります。
8GB未満のサイズを無料のアップグレードではなく、トレードオフとして扱ってください。Salukiを実際のツールやプロンプトでテストし、親モデルのより強力な量子化版と比較して、その信頼性とレイテンシを確認してください。この実践的な判断基準により、アプリケーションが必要とする深い推論や数学的精度を損なうことなく、Salukiのツール呼び出しにおける強みを活用できます。
よくある質問
Underdog Saluki 27Bとは何ですか？
これは270億パラメータのモデルで、ツール呼び出しを優先するように調整され、高度に圧縮された7.89 GBのGGUFとして配布されています。
圧縮されたモデルが、ツール呼び出しで元の大きなモデルを上回ることができるのはなぜですか？
Salukiは構造化されたツール使用のために特別に調整されているため、他の能力が低下しても、それらのタスクではより優れたパフォーマンスを発揮できます。
Salukiは元のモデルと比較して何を失いますか？
報告された結果によると、AIME 2025の数学タスクで大幅な低下が見られ、50タスクのSWE-bench Verified評価ではわずかな低下が見られます。
Salukiはコンシューマー向けGPUで実行できますか？
7.89 GBのフットプリントは一部のコンシューマー向けGPUのメモリに収まる可能性がありますが、実際の要件はランタイム、コンテキスト長、その他のシステム使用状況にも依存します。