Модель 27B, сжатая до 8 ГБ
ИИ-модель с 27 млрд параметров, изначально занимавшая 54–55 ГБ в формате полной точности BF16, была сжата до 7,89 ГБ. Это радикальное сокращение превращает ресурсоемкую модель в доступную для локального развертывания на более широком спектре оборудования.
Эта компактная версия, получившая название Underdog Saluki 27B 1.0, использует агрессивное ультранизкое, примерно 2-битное квантование IQ2-mix. В отличие от стандартных методов квантования, которые часто стремятся к сбалансированной производительности, подход Saluki начинается с квантованной базы и применяет узкоспециализированную донастройку после квантования. Этот процесс снижает точность весов модели, что приводит к значительно меньшему размеру, но также несет более высокий риск снижения возможностей в нецелевых областях.
Столь минимальный размер критически важен для широкой доступности. GGUF-файл размером 7,89 ГБ может полностью поместиться в видеопамять некоторых потребительских GPU, таких как ноутбуки с 16 ГБ объединенной памяти или видеокарты класса RTX 3080/4070. Пользователи могут развернуть Saluki, используя инструменты, совместимые с llama.cpp, такие как Ollama или LM Studio, в зависимости от доступной памяти и требований к контексту, что позволяет выполнять локальный инференс без использования облачных ресурсов.
Она побеждает там, где это нужнее всего агентам
Целевая оптимизация Underdog Saluki окупается именно там, где это больше всего нужно ИИ-агентам. Согласно карточке модели и представленным оценкам, Saluki набирает 88/120 в тесте Underdog Bench из 120 задач, превосходя результат оригинальной модели 84/120. Возможность параллельного вызова инструментов также заметно улучшилась, достигнув 42 по сравнению с 35 у оригинала.
Это сфокусированное улучшение в бенчмарках вызова инструментов напрямую трансформируется в практические преимущества для локальных ИИ-ассистентов. Надежное следование схеме, корректный структурированный вывод и эффективная отправка инструментов часто важнее для функционального локального агента, чем решение абстрактных головоломок или сложных математических задач. Агент, который стабильно предоставляет правильно отформатированный JSON или точно вызывает внешние инструменты, приносит немедленную пользу.
Однако это точечная победа. Этот успех достигнут в относительно небольшом, профильном бенчмарке. Это не доказывает, что сжатая модель в целом более способна, чем ее более крупный, неквантованный аналог. Агрессивное 2-битное квантование, которое уменьшает модель 27B до 7,89 ГБ, вносит значительные компромиссы, особенно в абстрактном мышлении и математических способностях, которые мы рассмотрим далее.
Приходится платить в математике и программировании
Этот прирост производительности сопровождается значительным компромиссом. В то время как Underdog Saluki превосходно справляется с использованием инструментов, ее общие способности к рассуждению резко снижаются. В математическом бенчмарке AIME 2025 оригинальная модель набрала 96,7 балла, а Saluki — только 79, что является падением более чем на 17 пунктов.
Аналогичным образом страдает ее мастерство в программировании. Результат Saluki в тесте SWE-bench Verified из 50 задач упал с 33 до 30. Это иллюстрирует, как агрессивное сжатие может повредить базовые аналитические способности, даже если целевая донастройка улучшает специфические поведения, такие как структурированный вывод и вызовы API.
Оба результата могут быть верны одновременно, потому что настройка модели отдавала приоритет более узкому набору поведений. Когда кто-то сжимает модель так же агрессивно, как Conway Research/Underdog AI сделали с Saluki, они должны решить, какие возможности сохранить. В данном случае фокус был сделан на использовании инструментов и форматировании, что допустило деградацию в сложных математических и логических рассуждениях.
Читателям следует с осторожностью относиться к результатам бенчмарков. Выбор задач, размер выборки, стратегии промптинга и настройки оценки — все это влияет на представленные результаты. Независимое тестирование остается критически важным для понимания реальных возможностей модели в различных приложениях. Более подробную информацию об архитектуре и производительности можно найти в карточке модели Underdog-Saluki-27B-1.0 на Hugging Face.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Кому на самом деле стоит использовать Saluki?
Кому на самом деле стоит использовать Saluki?
Saluki занимает свою нишу среди легковесных локальных агентов. Рассмотрите её для задач, требующих компактных моделей, которые маршрутизируют вызовы, взаимодействуют с API или выполняют рутинные функции ассистента, где её возможности по структурированному выводу проявляются наилучшим образом. Файл 7.89 GB GGUF подходит для потребительского оборудования, что делает локальное развертывание целесообразным для специализированных агентных рабочих процессов.
Однако избегайте использования Saluki для математических вычислений, сложного программирования или задач, требующих глубоких рассуждений. Её оценка AIME 2025 падает с 96.7 до 79, а результаты SWE-bench Verified снижаются с 33 до 30. 4-битная модель 12B–14B или менее агрессивно квантованный вариант 27B предлагают лучшую отправную точку для этих требовательных приложений, сохраняя больше скрытых возможностей исходной модели.
Воспринимайте размер менее 8 ГБ как компромисс, а не как бесплатное улучшение. Протестируйте Saluki с вашими конкретными инструментами и промптами. Сравните её надежность и задержку с более качественной квантованной версией родительской модели. Это практическое правило принятия решений гарантирует, что вы используете сильные стороны Saluki в вызове инструментов, не жертвуя глубокими рассуждениями или математической точностью, которые требуются вашему приложению.
Часто задаваемые вопросы
Что такое Underdog Saluki 27B?
Это модель с 27 миллиардами параметров, распространяемая в виде сильно сжатого файла GGUF объемом 7.89 ГБ, настроенная на приоритетное использование инструментов (tool calling).
Как сжатая модель может превзойти свой более крупный оригинал в использовании инструментов?
Saluki была специально настроена для структурированного использования инструментов, поэтому она может лучше справляться с этими задачами, несмотря на потерю возможностей в других областях.
Что теряет Saluki по сравнению с оригинальной моделью?
Представленные результаты показывают значительное падение в математическом тесте AIME 2025 и небольшое снижение в оценке SWE-bench Verified по 50 задачам.
Может ли Saluki работать на потребительском GPU?
Её объем в 7.89 ГБ может поместиться в память некоторых потребительских GPU, хотя фактические требования также зависят от среды выполнения, длины контекста и другого использования системы.