Un modèle de 27B, réduit pour tenir sur les GPU grand public
Underdog Saluki 27B 1.0 a accompli un exploit significatif : compresser un modèle de langage de 27 milliards de paramètres en seulement 7,89 Go. Cela contraste fortement avec le Qwen 27B en pleine précision, qui occupe environ 54–55 Go, et même avec les versions quantifiées standard en 4 bits, qui pèsent généralement environ 16,5 Go. Cette réduction extrême rend un LLM de grande taille accessible sur du matériel grand public.
Cette réduction de taille est obtenue grâce à une quantification agressive, un processus qui réduit la représentation numérique des poids internes d'un modèle. Saluki représente chaque poids à environ 2,35 bits, une baisse spectaculaire par rapport aux 16 bits utilisés dans le modèle original en pleine précision. Bien que cela sacrifie inévitablement une certaine fidélité, cela réduit considérablement l'empreinte mémoire.
Pour un déploiement local, Saluki 27B est conçu pour une utilisation facile. Il fonctionne avec llama.cpp et Ollama standards, éliminant le besoin de forks personnalisés. Un GPU avec 12 Go de VRAM peut faire tourner le modèle, mais les performances — en particulier la longueur du contexte et la vitesse de génération — dépendront de la mémoire disponible et du niveau de GPU offload.
La victoire surprenante : les appels d'outils, pas l'intelligence pure
Le véritable attrait de Saluki réside dans ses capacités agentiques, et non dans son intelligence brute. Les tests ont révélé un comportement convaincant en matière d'appel d'outils : il a correctement sélectionné un outil météo pour Salt Lake City, Dubaï et Saïgon, en fournissant des arguments structurés. Plus important encore, le modèle savait également quand ne pas utiliser un outil, répondant directement lorsque cela était approprié.
Ce réglage spécialisé a donné des résultats de benchmark surprenants. Sur le benchmark d'appel d'outils d'Underdog, Saluki a obtenu un score de 88 sur 120. Cela a surpassé le score de 76 de la quantification ISTA-DASLab sous-jacente et même le score de 84 rapporté pour le Qwen 27B complet de 54 Go.
La logique de conception explique ce paradoxe apparent. Underdog a privilégié le choix de l'outil et le respect du schéma plutôt que la préservation égale de toutes les capacités, un compromis délibéré pour les flux de travail agentiques. En se concentrant sur la manière dont le modèle alloue ses "connaissances" compressées, les développeurs pourraient améliorer des fonctionnalités spécifiques.
Par exemple, bien qu'il excelle dans les appels d'outils, Saluki fait des sacrifices dans d'autres domaines. Son score en mathématiques AIME 2025 a chuté de 94 à 79,2 par rapport au modèle original, et son score vérifié SWE-bench est passé de 33 à 30. Cela met en évidence une stratégie de quantification ciblée plutôt qu'une amélioration globale des performances.
Les détails complets de l'entraînement de Saluki n'ont pas été publiés, laissant dans l'ombre les spécificités de la passe de calibration via une matrice d'importance (imatrix) ciblant l'utilisation d'outils et le respect du schéma. Il est donc difficile de déterminer les mécanismes exacts derrière ses gains de performance impressionnants, bien que spécialisés.
La facture arrive en mathématiques — et peut-être en vitesse
La compression extrême a un coût : une baisse significative dans les benchmarks d'intelligence générale. Le score en mathématiques AIME 2025 de Saluki a chuté de 96,7 à 79 par rapport au modèle original. De même, sa performance sur SWE-bench Verified est passée de 33/50 à 30/50. Ce compromis révèle un modèle optimisé pour une capacité étroite, mais critique.
La qualité de l'appel d'outils (tool-calling) n'est pas uniformément élevée dans toutes les conditions. Bien que Saluki obtienne un score de 88/120 sur le benchmark de tool-calling d'Underdog, son score d'appels parallèles varie de 42 avec un analyseur strict à 55 avec un analyseur plus souple. La plupart des résultats rapportés, y compris le score de 88/120, proviennent des benchmarks du développeur. Pour plus de détails et pour consulter la fiche du modèle, rendez-vous sur ConwayResearch/Underdog-Saluki-27B-1.0 - Hugging Face.
Il est crucial de noter qu'une taille de modèle plus petite ne garantit pas une exécution plus rapide. Un test indépendant de boucle d'agent a révélé que Saluki était le plus lent parmi les modèles testés, traitant environ 10 étapes par minute. Le principal goulot d'étranglement identifié est le prefill, l'étape où le modèle traite le contexte d'entrée avant de générer une réponse. Des poids plus légers réduisent l'empreinte VRAM, mais ils n'accélèrent pas automatiquement l'achèvement global des tâches dans un flux de travail agentique.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
À qui s'adresse Saluki — et qui devrait l'éviter
La quantification extrême de Saluki crée une niche. Les développeurs disposant de 12 à 16 Go de VRAM disponible, qui privilégient l'expérimentation d'agents locaux et le tool calling structuré, trouveront en Saluki une option intéressante. Son empreinte de 7,89 Go et sa compatibilité robuste avec llama.cpp simplifient le déploiement local.
Cependant, si vos flux de travail exigent un raisonnement mathématique solide, des compétences en codage ou une intelligence générale étendue, une version standard 4-bit de Qwen reste le meilleur choix. Ces modèles nécessitent généralement environ 24 Go de VRAM, mais préservent davantage les capacités fondamentales du modèle 27B original, comme en témoignent les scores plus élevés aux tests AIME 2025 et SWE-bench Verified.
Abordez le score de 88/120 en tool calling avec une prudence pragmatique. Les benchmarks d'Underdog, bien que prometteurs, utilisent un banc d'essai spécifique, et les évaluations indépendantes restent limitées. Consultez toujours la fiche du modèle pour obtenir des conseils sur les performances optimales, comme la désactivation du « thinking » et le réglage de la température à zéro pour les appels spécifiques aux outils.
En fin de compte, Saluki démontre un compromis fascinant : un accès inégalé à un modèle 27B sur du matériel grand public, mais avec une spécialisation étroite. Comprenez ses limites pour exploiter ses forces efficacement.
Questions fréquemment posées
Qu'est-ce que Underdog Saluki 27B ?
Il s'agit d'un modèle Qwen 27B fortement quantifié, d'une taille d'environ 7,9 Go, optimisé pour privilégier le tool calling.
Saluki 27B peut-il fonctionner sur un GPU de 12 Go ?
Il peut tenir sur certains GPU de 12 Go avec un runtime et des paramètres appropriés, mais la mémoire disponible, la longueur du contexte et le déchargement GPU (GPU offload) affectent les performances.
Saluki est-il meilleur que le Qwen 27B original ?
Il a obtenu un score plus élevé sur un benchmark de tool-calling rapporté, mais a obtenu de moins bons résultats en mathématiques et sur certains tests de codage. Les résultats nécessitent également une vérification indépendante.
Un fichier de modèle plus petit signifie-t-il des exécutions d'agent plus rapides ?
Non. Des poids plus légers réduisent les besoins en mémoire, mais le prefill et d'autres goulots d'étranglement dans la boucle d'agent peuvent toujours ralentir l'exécution.