Dieses 27B KI-Modell passt in 8GB – hat aber einen Haken

Das Underdog Saluki 27B 1.0 hat eine beachtliche Leistung vollbracht: Es komprimiert ein Sprachmodell mit 27 Milliarden Parametern auf gerade einmal 7,89 GB. Dies steht in krassem Gegensatz zum Qwen 27B in voller Präzision, das etwa 54–55 GB belegt, und selbst zu herkömmlichen 4-Bit-quantisierten Versionen, die typischerweise bei etwa 16,5 GB liegen. Diese extreme Reduzierung macht ein großes LLM auf Consumer-Hardware zugänglich.

Diese Größenreduzierung wird durch aggressive Quantisierung erreicht, einen Prozess, der die numerische Darstellung der internen Gewichte eines Modells verkleinert. Saluki repräsentiert jedes Gewicht mit etwa 2,35 Bit, eine drastische Verringerung gegenüber den 16 Bit, die im ursprünglichen Modell mit voller Präzision verwendet wurden. Während dies zwangsläufig etwas an Genauigkeit einbüßt, reduziert es den Speicherbedarf drastisch.

Für die lokale Bereitstellung ist Saluki 27B auf Benutzerfreundlichkeit ausgelegt. Es funktioniert mit Standard llama.cpp und Ollama, wodurch keine benutzerdefinierten Forks erforderlich sind. Eine GPU mit 12GB VRAM kann das Modell zwar ausführen, aber die Leistung – insbesondere die Kontextlänge und die Generierungsgeschwindigkeit – hängt vom verfügbaren Speicher und dem Umfang des GPU-Offload ab.

Salukis wahrer Reiz liegt in seinen agentischen Fähigkeiten, nicht in der reinen Intelligenz. Tests zeigten ein überzeugendes Verhalten bei Tool-Aufrufen: Es wählte korrekt ein Wetter-Tool für Salt Lake City, Dubai und Saigon aus und lieferte strukturierte Argumente. Entscheidend ist, dass das Modell auch wusste, wann es ein Tool nicht verwenden sollte, und bei Bedarf direkt antwortete.

Dieses spezialisierte Tuning führte zu überraschenden Benchmark-Ergebnissen. Im Tool-Calling-Benchmark von Underdog erreichte Saluki 88 von 120 Punkten. Dies übertraf die 76 Punkte des zugrunde liegenden ISTA-DASLab-Quants und sogar die berichteten 84 Punkte des 54 GB großen Qwen 27B.

Die Designlogik erklärt dieses scheinbare Paradoxon. Underdog priorisierte die Tool-Auswahl und das Schema-Folgen gegenüber der gleichmäßigen Erhaltung aller Fähigkeiten – ein bewusster Kompromiss für agentische Workflows. Indem Entwickler sich darauf konzentrieren, wo das Modell sein komprimiertes "Wissen" zuweist, können sie spezifische Funktionalitäten verbessern.

Während Saluki beispielsweise bei Tool-Aufrufen glänzt, büßt es in anderen Bereichen ein. Sein AIME 2025 Mathe-Score sank von 94 beim Originalmodell auf 79,2, und sein SWE-bench Verified-Score fiel von 33 auf 30. Dies unterstreicht eine gezielte Quantisierungsstrategie anstelle einer allgemeinen Leistungssteigerung.

Vollständige Trainingsdetails für Saluki wurden nicht veröffentlicht, sodass die Spezifika des Kalibrierungslaufs mittels Importance Matrix (imatrix), die auf Tool-Nutzung und Schema-Folgen abzielt, unbekannt bleiben. Dies macht es schwierig, die genauen Mechanismen hinter den beeindruckenden, wenn auch spezialisierten, Leistungszuwächsen zu ermitteln.

Die extreme Komprimierung hat ihren Preis: einen deutlichen Abfall bei allgemeinen Intelligenz-Benchmarks. Salukis AIME 2025 Mathe-Score stürzte von 96,7 beim Originalmodell auf 79 ab. Ebenso fiel seine Leistung bei SWE-bench Verified von 33/50 auf 30/50. Dieser Kompromiss offenbart ein Modell, das für eine enge, aber kritische Fähigkeit optimiert wurde.

Die Qualität des Tool-Calling ist nicht unter allen Bedingungen einheitlich hoch. Während Saluki auf dem eigenen Tool-Calling-Benchmark von Underdog 88/120 Punkte erreicht, variiert sein Score für parallele Aufrufe zwischen 42 bei einem strikten Parser und 55 bei einem toleranten. Die meisten berichteten Ergebnisse, einschließlich des 88/120-Scores, stammen aus den Benchmarks des Entwicklers. Weitere Details und die Model Card finden Sie unter ConwayResearch/Underdog-Saluki-27B-1.0 - Hugging Face.

Entscheidend ist, dass eine kleinere Modellgröße keine schnellere Ausführung garantiert. Ein unabhängiger Agent-Loop-Test ergab, dass Saluki das langsamste der getesteten Modelle ist und etwa 10 Schritte pro Minute verarbeitet. Der primäre identifizierte Flaschenhals war Prefill, die Phase, in der das Modell den Eingabekontext verarbeitet, bevor eine Antwort generiert wird. Kleinere Gewichte reduzieren den VRAM-Bedarf, beschleunigen aber nicht automatisch die gesamte Aufgabenabwicklung in einem agentischen Workflow.

Die extreme Quantisierung von Saluki schafft eine Nische. Entwickler mit 12–16 GB verfügbarem VRAM, die lokale Agenten-Experimente und strukturiertes Tool Calling priorisieren, werden Saluki als eine überzeugende Option empfinden. Sein 7,89 GB großer Footprint und die robuste llama.cpp-Kompatibilität vereinfachen die lokale Bereitstellung.

Wenn Ihre Workflows jedoch starke mathematische Argumentation, Programmierkenntnisse oder breite allgemeine Intelligenz erfordern, bleibt eine standardmäßige 4-Bit Qwen-Version die bessere Wahl. Diese Modelle benötigen normalerweise etwa 24 GB VRAM, bewahren aber mehr der Kernfähigkeiten des ursprünglichen 27B-Modells, wie die höheren AIME 2025- und SWE-bench Verified-Scores belegen.

Betrachten Sie den 88/120 Tool-Calling-Score mit praktischer Vorsicht. Die Benchmarks von Underdog verwenden zwar ein spezifisches Test-Harness, sind aber vielversprechend, und unabhängige Bewertungen bleiben begrenzt. Konsultieren Sie immer die Model Card für Anleitungen zur optimalen Leistung, wie z. B. das Deaktivieren von „Thinking“ und das Einstellen der Temperature auf Null für Tool-spezifische Aufrufe.

Letztendlich zeigt Saluki einen faszinierenden Kompromiss: beispielloser Zugriff auf ein 27B-Modell auf Consumer-Hardware, jedoch mit einem engen, spezialisierten Fokus. Verstehen Sie seine Grenzen, um seine Stärken effektiv zu nutzen.

Was ist Underdog Saluki 27B?

Es handelt sich um ein stark quantisiertes Qwen 27B-Modell mit einer Größe von etwa 7,9 GB, das darauf abgestimmt ist, Tool Calling zu priorisieren.

Kann Saluki 27B auf einer 12GB GPU ausgeführt werden?

Es kann mit der entsprechenden Laufzeitumgebung und den richtigen Einstellungen auf einige 12GB GPUs passen, aber der verfügbare Speicher, die Kontextlänge und das GPU-Offloading beeinflussen die Leistung.

Ist Saluki besser als das ursprüngliche Qwen 27B?

Es erzielte bei einem berichteten Tool-Calling-Benchmark einen höheren Wert, schnitt jedoch bei Mathe- und einigen Programmiertests schlechter ab. Die Ergebnisse müssen zudem unabhängig verifiziert werden.

Bedeutet eine kleinere Modelldatei schnellere Agenten-Durchläufe?

Nein. Kleinere Gewichte reduzieren den Speicherbedarf, aber Prefill und andere Engpässe im Agent-Loop können die Ausführung dennoch verlangsamen.