Эта 27B ИИ-модель умещается в 8 ГБ — но есть нюанс

Underdog Saluki 27B 1.0 совершила значительный прорыв: сжатие языковой модели с 27 миллиардами параметров до всего лишь 7,89 ГБ. Это резко контрастирует с полноразмерной Qwen 27B, которая занимает около 54–55 ГБ, и даже со стандартными 4-битными квантованными версиями, которые обычно весят около 16,5 ГБ. Такое экстремальное сокращение делает большую LLM доступной на потребительском оборудовании.

Это уменьшение размера достигается за счет агрессивной квантования (quantization) — процесса, который сокращает численное представление внутренних весов модели. Saluki представляет каждый вес примерно в 2,35 бита, что является значительным снижением по сравнению с 16 битами, используемыми в исходной полноразмерной модели. Хотя это неизбежно снижает точность, это радикально уменьшает объем занимаемой памяти.

Для локального развертывания Saluki 27B разработана с учетом простоты использования. Она работает со стандартными llama.cpp и Ollama, исключая необходимость в кастомных форках. GPU с 12 ГБ видеопамяти может запустить модель, но производительность — особенно длина контекста и скорость генерации — будет зависеть от доступной памяти и степени выгрузки на GPU (GPU offload).

Истинная привлекательность Saluki проявляется в ее агентных возможностях, а не в «сыром» интеллекте. Тестирование выявило впечатляющее поведение при вызове инструментов: модель правильно выбирала инструмент погоды для Солт-Лейк-Сити, Дубая и Сайгона, предоставляя структурированные аргументы. Важно отметить, что модель также знала, когда не следует использовать инструмент, отвечая напрямую, когда это было уместно.

Эта специализированная настройка дала удивительные результаты в тестах. В бенчмарке Underdog по вызову инструментов Saluki набрала 88 баллов из 120. Это превзошло результат базового квантования ISTA-DASLab (76 баллов) и даже результат полной 54-гигабайтной Qwen 27B (84 балла).

Логика проектирования объясняет этот кажущийся парадокс. Underdog отдала приоритет выбору инструментов и следованию схеме (schema-following), а не равномерному сохранению всех возможностей — это осознанный компромисс для агентных рабочих процессов. Сосредоточившись на том, как модель распределяет свои сжатые «знания», разработчики смогли улучшить конкретные функциональные возможности.

Например, преуспевая в вызове инструментов, Saluki жертвует другими областями. Ее оценка по математике AIME 2025 упала до 79,2 с 94 у исходной модели, а результат в SWE-bench verified снизился с 33 до 30. Это подчеркивает стратегию целевого квантования, а не общее повышение производительности.

Полные детали обучения Saluki не были опубликованы, поэтому подробности калибровочного прохода через матрицу важности (imatrix), нацеленного на использование инструментов и следование схеме, остаются нераскрытыми. Это затрудняет определение точных механизмов, стоящих за ее впечатляющим, хотя и специализированным, приростом производительности.

Экстремальное сжатие имеет свою цену: значительное падение в тестах общего интеллекта. Оценка Saluki по математике AIME 2025 упала с 96,7 у исходной модели до 79. Аналогично, производительность в SWE-bench Verified снизилась с 33/50 до 30/50. Этот компромисс демонстрирует модель, оптимизированную для узкой, но критически важной функциональности.

Качество вызова инструментов (tool-calling) неоднородно в разных условиях. Хотя Saluki набирает 88/120 баллов в собственном бенчмарке Underdog по вызову инструментов, его оценка за параллельные вызовы варьируется от 42 при строгом парсере до 55 при более мягком. Большинство представленных результатов, включая оценку 88/120, получены из бенчмарков разработчика. Для получения дополнительной информации и ознакомления с карточкой модели посетите ConwayResearch/Underdog-Saluki-27B-1.0 - Hugging Face.

Важно отметить, что меньший размер модели не гарантирует более быстрое выполнение. Независимый тест агентского цикла показал, что Saluki является самой медленной среди протестированных моделей, обрабатывая примерно 10 шагов в минуту. Основным выявленным «узким местом» стал prefill — этап, на котором модель обрабатывает входной контекст перед генерацией ответа. Меньший вес модели снижает потребление VRAM, но не ускоряет выполнение задач в агентском рабочем процессе автоматически.

Экстремальная квантованность Saluki создает свою нишу. Разработчики с 12–16 ГБ доступной VRAM, которые отдают приоритет локальным экспериментам с агентами и структурированному tool calling, найдут Saluki привлекательным вариантом. Его размер в 7,89 ГБ и надежная совместимость с llama.cpp упрощают локальное развертывание.

Однако, если ваши рабочие процессы требуют сильных математических способностей, навыков программирования или широкого общего интеллекта, стандартная 4-битная версия Qwen остается лучшим выбором. Таким моделям обычно требуется около 24 ГБ VRAM, но они сохраняют больше базовых возможностей оригинальной модели 27B, что подтверждается более высокими баллами в AIME 2025 и SWE-bench Verified.

Относитесь к оценке 88/120 за вызов инструментов с практической осторожностью. Бенчмарки Underdog, хотя и многообещающие, используют специфический тестовый инструментарий, а независимые оценки пока ограничены. Всегда обращайтесь к карточке модели за рекомендациями по оптимальной производительности, например, по отключению «мышления» (thinking) и установке температуры на ноль для вызовов, специфичных для инструментов.

В конечном итоге, Saluki демонстрирует интересный компромисс: беспрецедентный доступ к модели 27B на потребительском оборудовании, но с узкой, специализированной направленностью. Понимание его ограничений поможет эффективно использовать его сильные стороны.

Что такое Underdog Saluki 27B?

Это сильно квантованная модель Qwen 27B размером около 7,9 ГБ, настроенная на приоритетное выполнение вызовов инструментов.

Может ли Saluki 27B работать на GPU с 12 ГБ памяти?

Она может поместиться на некоторых GPU с 12 ГБ при использовании подходящей среды выполнения и настроек, но доступная память, длина контекста и выгрузка на GPU влияют на производительность.

Лучше ли Saluki, чем оригинальный Qwen 27B?

Модель набрала больше баллов в одном из представленных бенчмарков по вызову инструментов, но показала худшие результаты в математических и некоторых задачах по программированию. Результаты также требуют независимой проверки.

Означает ли меньший размер файла модели более быструю работу агента?

Нет. Меньший вес снижает требования к памяти, но prefill и другие «узкие места» агентского цикла все равно могут замедлять выполнение.