Um modelo de 27B, reduzido para caber em GPUs de consumo
O Underdog Saluki 27B 1.0 alcançou um feito significativo: comprimir um modelo de linguagem de 27 bilhões de parâmetros para meros 7,89 GB. Isso contrasta fortemente com o Qwen 27B em precisão total, que ocupa cerca de 54–55 GB, e até mesmo com as versões quantizadas padrão de 4 bits, que geralmente ocupam cerca de 16,5 GB. Essa redução extrema torna um LLM grande acessível em hardware de consumo.
Essa redução de tamanho é alcançada através de quantização agressiva, um processo que diminui a representação numérica dos pesos internos de um modelo. O Saluki representa cada peso em aproximadamente 2,35 bits, uma diminuição drástica dos 16 bits usados no modelo original de precisão total. Embora isso inevitavelmente sacrifique alguma fidelidade, reduz drasticamente o uso de memória.
Para implantação local, o Saluki 27B foi projetado para facilitar o uso. Ele funciona com o llama.cpp padrão e Ollama, eliminando a necessidade de forks personalizados. Uma GPU com 12GB de VRAM pode rodar o modelo, mas o desempenho — particularmente o comprimento do contexto e a velocidade de geração — dependerá da memória disponível e da extensão do GPU offload.
A vitória surpreendente: chamadas de ferramentas, não inteligência
O verdadeiro apelo do Saluki surge em suas capacidades agenticas, não na inteligência bruta. Testes revelaram um comportamento convincente de chamada de ferramentas: ele selecionou corretamente uma ferramenta de clima para Salt Lake City, Dubai e Saigon, fornecendo argumentos estruturados. Crucialmente, o modelo também sabia quando não usar uma ferramenta, respondendo diretamente quando apropriado.
Esse ajuste especializado rendeu resultados surpreendentes em benchmarks. No benchmark de chamada de ferramentas da Underdog, o Saluki marcou 88 de 120. Isso superou os 76 da quantização ISTA-DASLab subjacente e até mesmo os 84 relatados do Qwen 27B completo de 54 GB.
A lógica de design explica esse aparente paradoxo. A Underdog priorizou a escolha de ferramentas e o seguimento de esquema em vez de preservar todas as capacidades igualmente, uma compensação deliberada para fluxos de trabalho agenticos. Ao focar em onde o modelo aloca seu "conhecimento" comprimido, os desenvolvedores puderam aprimorar funcionalidades específicas.
Por exemplo, embora se destaque em chamadas de ferramentas, o Saluki sacrifica outros domínios. Sua pontuação em matemática no AIME 2025 caiu para 79,2, ante 94 do modelo original, e sua pontuação verificada no SWE-bench caiu de 33 para 30. Isso destaca uma estratégia de quantização direcionada, em vez de um aumento geral de desempenho.
Os detalhes completos do treinamento do Saluki não foram publicados, deixando os detalhes da passagem de calibração via matriz de importância (imatrix), focada no uso de ferramentas e seguimento de esquema, não divulgados. Isso torna difícil determinar os mecanismos exatos por trás de seus ganhos de desempenho impressionantes, embora especializados.
A conta chega na matemática — e talvez na velocidade
A compressão extrema tem um custo: uma queda significativa nos benchmarks de inteligência geral. A pontuação de matemática AIME 2025 do Saluki despencou de 96,7 do modelo original para 79. Da mesma forma, seu desempenho no SWE-bench Verified caiu de 33/50 para 30/50. Essa compensação revela um modelo otimizado para uma capacidade estreita, porém crítica.
A qualidade do tool-calling em si não é uniformemente alta em todas as condições. Embora o Saluki pontue 88/120 no benchmark de tool-calling da própria Underdog, sua pontuação em chamadas paralelas varia de 42 com um parser rigoroso a 55 com um mais flexível. A maioria dos resultados relatados, incluindo a pontuação 88/120, provém dos benchmarks do desenvolvedor. Para mais detalhes e o model card, consulte ConwayResearch/Underdog-Saluki-27B-1.0 - Hugging Face.
Crucialmente, um tamanho de modelo menor não garante uma execução mais rápida. Um teste independente de loop de agente descobriu que o Saluki é o mais lento entre os modelos testados, processando aproximadamente 10 passos por minuto. O principal gargalo identificado foi o prefill, o estágio em que o modelo processa o contexto de entrada antes de gerar uma resposta. Pesos menores reduzem a ocupação de VRAM, mas não aceleram automaticamente a conclusão geral da tarefa em um fluxo de trabalho de agente.
Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.
um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros
Quem deve experimentar o Saluki—e quem deve evitá-lo
A quantização extrema do Saluki cria um nicho. Desenvolvedores com 12–16GB de VRAM disponível, que priorizam a experimentação de agentes locais e tool calling estruturado, acharão o Saluki uma opção atraente. Sua ocupação de 7.89GB e compatibilidade robusta com llama.cpp simplificam a implementação local.
No entanto, se seus fluxos de trabalho exigem forte raciocínio matemático, proficiência em codificação ou inteligência geral ampla, uma versão Qwen padrão de 4-bit continua sendo a melhor escolha. Esses modelos normalmente exigem cerca de 24GB de VRAM, mas preservam mais das capacidades principais do modelo original de 27B, como evidenciado por pontuações mais altas no AIME 2025 e no SWE-bench Verified.
Aborde a pontuação de 88/120 em tool calling com cautela prática. Os benchmarks da Underdog, embora promissores, usam um conjunto de testes específico, e as avaliações independentes permanecem limitadas. Sempre consulte o model card para obter orientações sobre o desempenho ideal, como desativar o “thinking” e definir a temperatura como zero para chamadas específicas de ferramentas.
Em última análise, o Saluki demonstra um trade-off fascinante: acesso inigualável a um modelo de 27B em hardware de consumo, mas com um foco estreito e especializado. Entenda suas limitações para aproveitar seus pontos fortes de forma eficaz.
Perguntas Frequentes
O que é o Underdog Saluki 27B?
É um modelo Qwen 27B fortemente quantizado, com cerca de 7.9GB de tamanho, ajustado para priorizar o tool calling.
O Saluki 27B pode rodar em uma GPU de 12GB?
Ele pode caber em algumas GPUs de 12GB com um runtime e configurações apropriados, mas a memória disponível, o tamanho do contexto e o GPU offload afetam o desempenho.
O Saluki é melhor que o Qwen 27B original?
Ele pontuou mais alto em um benchmark de tool-calling relatado, mas teve um desempenho inferior em matemática e em alguns testes de codificação. Os resultados também precisam de verificação independente.
Um arquivo de modelo menor significa execuções de agente mais rápidas?
Não. Pesos menores reduzem as necessidades de memória, mas o prefill e outros gargalos no loop de agente ainda podem tornar a execução lenta.