Un modelo de 27B, reducido para caber en GPUs de consumo
Underdog Saluki 27B 1.0 ha logrado una hazaña significativa: comprimir un modelo de lenguaje de 27 mil millones de parámetros a solo 7.89 GB. Esto contrasta notablemente con el Qwen 27B de precisión completa, que ocupa aproximadamente 54–55 GB, e incluso con las versiones cuantizadas estándar de 4 bits, que suelen rondar los 16.5 GB. Esta reducción extrema hace que un LLM grande sea accesible en hardware de consumo.
Esta reducción de tamaño se logra mediante una cuantización agresiva, un proceso que reduce la representación numérica de los pesos internos de un modelo. Saluki representa cada peso a aproximadamente 2.35 bits, una disminución drástica desde los 16 bits utilizados en el modelo original de precisión completa. Aunque esto inevitablemente sacrifica algo de fidelidad, reduce drásticamente el uso de memoria.
Para la implementación local, Saluki 27B está diseñado para facilitar su uso. Funciona con llama.cpp y Ollama estándar, eliminando la necesidad de forks personalizados. Una GPU con 12GB de VRAM puede ejecutar el modelo, pero el rendimiento, particularmente la longitud del contexto y la velocidad de generación, dependerá de la memoria disponible y del grado de GPU offload.
La victoria sorprendente: llamadas a herramientas, no inteligencia
El verdadero atractivo de Saluki surge en sus capacidades agénticas, no en su inteligencia bruta. Las pruebas revelaron un comportamiento convincente en la llamada a herramientas: seleccionó correctamente una herramienta meteorológica para Salt Lake City, Dubái y Saigón, proporcionando argumentos estructurados. Crucialmente, el modelo también supo cuándo no usar una herramienta, respondiendo directamente cuando era apropiado.
Este ajuste especializado produjo resultados sorprendentes en los benchmarks. En el benchmark de llamadas a herramientas de Underdog, Saluki obtuvo 88 de 120. Esto superó los 76 del quant de ISTA-DASLab subyacente e incluso los 84 reportados del Qwen 27B completo de 54 GB.
La lógica de diseño explica esta aparente paradoja. Underdog priorizó la elección de herramientas y el seguimiento de esquemas sobre la preservación de todas las capacidades por igual, un compromiso deliberado para flujos de trabajo agénticos. Al centrarse en dónde el modelo asigna su "conocimiento" comprimido, los desarrolladores pudieron mejorar funcionalidades específicas.
Por ejemplo, aunque destaca en las llamadas a herramientas, Saluki sacrifica otros dominios. Su puntuación en matemáticas AIME 2025 cayó a 79.2 desde los 94 del modelo original, y su puntuación verificada en SWE-bench cayó de 33 a 30. Esto destaca una estrategia de cuantización dirigida en lugar de una mejora general del rendimiento.
Los detalles completos del entrenamiento de Saluki no se han publicado, dejando sin revelar los detalles de la pasada de calibración mediante una matriz de importancia (imatrix) enfocada en el uso de herramientas y el seguimiento de esquemas. Esto dificulta determinar los mecanismos exactos detrás de sus impresionantes, aunque especializados, aumentos de rendimiento.
La factura llega en matemáticas, y quizás en velocidad
La compresión extrema tiene un costo: una caída significativa en los benchmarks de inteligencia general. La puntuación en matemáticas AIME 2025 de Saluki se desplomó de los 96.7 del modelo original a 79. De manera similar, su rendimiento en SWE-bench Verified cayó de 33/50 a 30/50. Este compromiso revela un modelo optimizado para una capacidad estrecha, pero crítica.
La calidad de la llamada a herramientas (tool-calling) no es uniformemente alta en todas las condiciones. Aunque Saluki obtiene una puntuación de 88/120 en el propio benchmark de tool-calling de Underdog, su puntuación en llamadas paralelas varía de 42 con un analizador estricto a 55 con uno flexible. La mayoría de los resultados reportados, incluida la puntuación de 88/120, provienen de los benchmarks del desarrollador. Para más detalles y consultar la ficha del modelo, visite ConwayResearch/Underdog-Saluki-27B-1.0 - Hugging Face.
Es fundamental señalar que un tamaño de modelo menor no garantiza una ejecución más rápida. Una prueba independiente de bucle de agente encontró que Saluki es el más lento entre los modelos probados, procesando aproximadamente 10 pasos por minuto. El principal cuello de botella identificado fue el prefill, la etapa donde el modelo procesa el contexto de entrada antes de generar una respuesta. Pesos más pequeños reducen la huella de VRAM, pero no aceleran automáticamente la finalización de tareas en un flujo de trabajo de agentes.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Quién debería probar Saluki y quién debería evitarlo
La cuantización extrema de Saluki crea un nicho. Los desarrolladores con 12–16 GB de VRAM disponible, que priorizan la experimentación con agentes locales y el tool calling estructurado, encontrarán en Saluki una opción atractiva. Su huella de 7.89 GB y su sólida compatibilidad con llama.cpp simplifican la implementación local.
Sin embargo, si sus flujos de trabajo exigen un razonamiento matemático sólido, competencia en programación o una inteligencia general amplia, una versión estándar de Qwen de 4 bits sigue siendo la mejor opción. Estos modelos generalmente requieren alrededor de 24 GB de VRAM, pero conservan más de las capacidades principales del modelo original de 27B, como lo demuestran las puntuaciones más altas en AIME 2025 y SWE-bench Verified.
Aborde la puntuación de 88/120 en tool calling con cautela práctica. Los benchmarks de Underdog, aunque prometedores, utilizan un arnés de prueba específico y las evaluaciones independientes siguen siendo limitadas. Consulte siempre la ficha del modelo para obtener orientación sobre el rendimiento óptimo, como desactivar el "thinking" y establecer la temperatura en cero para llamadas específicas de herramientas.
En última instancia, Saluki demuestra un equilibrio fascinante: acceso sin precedentes a un modelo de 27B en hardware de consumo, pero con un enfoque estrecho y especializado. Comprenda sus limitaciones para aprovechar sus fortalezas de manera efectiva.
Preguntas frecuentes
¿Qué es Underdog Saluki 27B?
Es un modelo Qwen 27B fuertemente cuantizado, de aproximadamente 7.9 GB de tamaño, ajustado para priorizar el tool calling.
¿Puede Saluki 27B ejecutarse en una GPU de 12 GB?
Puede caber en algunas GPU de 12 GB con un tiempo de ejecución y configuraciones adecuadas, pero la memoria disponible, la longitud del contexto y la descarga a la GPU (GPU offload) afectan el rendimiento.
¿Es Saluki mejor que el Qwen 27B original?
Obtuvo una puntuación más alta en un benchmark de tool-calling reportado, pero tuvo un desempeño inferior en matemáticas y algunas pruebas de programación. Los resultados también necesitan verificación independiente.
¿Un archivo de modelo más pequeño significa ejecuciones de agente más rápidas?
No. Pesos más pequeños reducen las necesidades de memoria, pero el prefill y otros cuellos de botella en el bucle de agentes aún pueden hacer que la ejecución sea lenta.