AI Инструмент

Обзор Soup CLI

Soup CLI — это инструмент командной строки с открытым исходным кодом для эффективной тонкой настройки больших языковых моделей, даже на оборудовании с ограниченными ресурсами, путем потоковой передачи слоев модели из ОЗУ или NVMe.

shipped 9 авг. 2026 г.free

Domain rating34

Почему это важно

1Позволяет выполнять тонкую настройку LLM с 8 миллиардами параметров на графических процессорах с объемом VRAM всего 4 ГБ с использованием потоковой передачи слоев.

2Поддерживает различные потери предпочтений, включая DPO, ORPO, SimPO и KTO, даже с потоковой передачей слоев, начиная с версии 0.72.4.

3Предлагает возможности редактирования знаний (например, ROME, MEMIT) и разучивания (например, NPO, SimNPO), представленные в v0.61.0 и v0.71.9.

4Обеспечивает предварительную проверку данных, линтинг и автоматическую настройку для обучения LLM.

О Soup CLI

Бизнес-модель

Open Source

Платформы

CLI, Web

Целевая аудитория

Machine Learning practitioners and researchers

Тарифные планы

Free

Руководство

Alpamys Makazhan

GitHubOpen Source

Характеристики

Документация API

Посмотреть документацию →

GitHub

Посмотреть репозиторий →

Доступность API

Да, публичный API

overview

Что такое Soup CLI?

Soup CLI — это инструмент для операций машинного обучения (MLOps), разработанный Alpamys Makazhan, который позволяет разработчикам, инженерам ML, исследователям и специалистам по данным эффективно выполнять тонкую настройку и постобучение больших языковых моделей (LLM). Он упрощает процесс за счет автоматизации конфигураций и управления данными, делая его доступным на оборудовании с ограниченным объемом VRAM, таком как ноутбуки с 4 ГБ графическими процессорами, благодаря таким функциям, как потоковая передача слоев. Инструмент имеет открытый исходный код под лицензией Apache-2.0 и ориентирован на оптимизацию всего рабочего процесса тонкой настройки LLM от подготовки данных до развертывания.

features

Ключевые особенности Soup CLI

Soup CLI предоставляет полный набор функций, предназначенных для упрощения и оптимизации тонкой настройки больших языковых моделей. Его основные возможности сосредоточены на эффективном использовании ресурсов, автоматической настройке и полном стеке постобучения.

Автоматическая настройка параметров тонкой настройки с помощью одного YAML-файла.
Потоковая передача слоев для эффективного использования ресурсов, позволяющая использовать 8B модели на 4 ГБ графических процессорах ноутбуков путем потоковой передачи слоев декодера из ОЗУ или NVMe.
Поддержка нескольких методов и фреймворков машинного обучения, включая SFT, DPO, ORPO, SimPO и KTO для выравнивания моделей.
Предварительная проверка данных и линтинг для наборов данных обучения LLM.
Возможности редактирования знаний (например, ROME, MEMIT, AlphaEdit) для точечного исправления фактов в моделях.
Разучивание конкретных данных (например, методы NPO, SimNPO, RMU) для обеспечения конфиденциальности или соответствия требованиям.
Оценка, диагностика и интерпретация производительности и поведения LLM.
Экспорт и обслуживание тонко настроенных LLM в различных форматах, таких как GGUF для llama.cpp и через совместимые с OpenAI серверы.
Открытый исходный код под лицензией Apache-2.0, что исключает привязку к поставщику.

use cases

Кому следует использовать Soup CLI?

Soup CLI в первую очередь предназначен для специалистов и исследователей в области машинного обучения, которым необходимо эффективно выполнять тонкую настройку больших языковых моделей, особенно при работе с оборудованием с ограниченными ресурсами. Его функции автоматизации и оптимизации делают его подходящим для различных сценариев.

Разработчики и инженеры ML: Для тонкой настройки LLM с использованием таких методов, как SFT, DPO, GRPO и KTO, а также для оптимизации обучения на оборудовании с ограниченным объемом VRAM (например, 4 ГБ графических процессоров).
Исследователи: Для оценки, диагностики и интерпретации производительности LLM, а также для экспериментов с методами редактирования знаний и разучивания.
Специалисты по данным: Для предварительной проверки данных и линтинга для обучения LLM, обеспечения качества данных перед их использованием моделью.
Команды, переходящие с других инструментов ML: Для пользователей, желающих перенести конфигурации из таких инструментов, как LLaMA-Factory, Axolotl или Unsloth, в оптимизированную среду тонкой настройки.

how to use

Как использовать Soup CLI

Soup CLI упрощает процесс тонкой настройки LLM с помощью интерфейса командной строки и единого YAML-файла конфигурации. Пользователи могут начать, установив инструмент и определив параметры своей модели и данных.

1Установите Soup CLI через pip или клонировав репозиторий GitHub.
2Создайте YAML-файл конфигурации, указав базовую модель (например, Llama 3.1 8B Instruct), набор данных, метод тонкой настройки (например, SFT, DPO) и параметры оборудования.
3Выполните команду soup train, которая автоматически обрабатывает обнаружение GPU, настройку размера пакета и квантование.
4Используйте soup doctor для предварительной проверки данных и линтинга наборов данных обучения.
5Используйте soup eval для оценки и диагностики производительности тонко настроенных моделей.
6Экспортируйте тонко настроенные модели с помощью soup export в такие форматы, как GGUF, для локального обслуживания с помощью llama.cpp или Ollama.

pricing

Цены и планы Soup CLI

Soup CLI — это инструмент с открытым исходным кодом, выпущенный под лицензией Apache-2.0. Он полностью бесплатен для использования, загрузки и модификации, без каких-либо абонентских плат или затрат, зависящих от использования. Эта модель обеспечивает доступность для всех пользователей, от отдельных разработчиков до исследовательских учреждений, без привязки к поставщику.

Бесплатно: Полный доступ ко всем функциям, включая тонкую настройку LLM, потоковую передачу слоев, редактирование знаний и возможности разучивания.

Pros

+Enables fine-tuning of 8B LLMs on GPUs with as little as 4GB VRAM through its layer streaming technique.
+Automates complex configuration tasks, reducing setup time for LLM training environments.
+Provides a comprehensive post-training stack, including data validation (soup data doctor) and model evaluation (soup ship).
+Supports various fine-tuning methods, including SFT, DPO, ORPO, SimPO, and KTO, for diverse use cases.
+Offers an OpenAI-compatible API server for serving fine-tuned models, simplifying deployment.
+Open-source under Apache-2.0 License, promoting transparency and community contributions.

Cons

−The layer streaming feature is currently in beta, which may imply potential instability or ongoing development.
−Specific API rate limits for the CMS Delivery API and OpenAI-compatible API server are currently unknown.
−While simplifying the workflow, it might offer less granular control over individual components compared to highly modular frameworks like Kedro or Hydra.
−Community support is primarily via Discord and GitHub, which may not suit all users compared to dedicated enterprise support channels.

Похожие инструменты

Soup CLI против конкурентов

Soup CLI работает в конкурентной среде инструментов разработки машинного обучения, предлагая особый акцент на доступной тонкой настройке LLM и возможностях постобучения, особенно для сред с ограниченными ресурсами. Он отличается от более широких платформ MLOps и специализированных инструментов настройки или версионирования.

MLflowOn Stork

It provides a platform for managing the end-to-end machine learning lifecycle, including experiment tracking, reproducible runs, and model deployment.

While Soup CLI focuses on simplifying the training and fine-tuning process with automation, MLflow offers a broader suite of tools for experiment tracking, model management, and reproducibility across the entire ML lifecycle. You might need to integrate MLflow more explicitly into your training scripts compared to Soup CLI's more opinionated automation.

DVCOn Stork

It brings Git-like version control to data and machine learning models, enabling reproducible experiments and pipelines.

Soup CLI includes data management as part of its broader training automation. DVC specializes purely in data and model versioning and pipeline definition, requiring you to integrate it into your existing training scripts rather than automating the training loop itself.

Hydra↗

It provides a framework for elegantly configuring complex applications, especially useful for machine learning experiments with many parameters.

Soup CLI offers auto-configuration as part of its end-to-end training simplification. Hydra focuses exclusively on robust and dynamic configuration management, giving you fine-grained control over experiment parameters but not handling data management or the training execution itself.

KedroOn Stork

It's a Python framework that helps build robust, scalable, and reproducible data science and machine learning pipelines with a strong emphasis on code modularity.

Soup CLI aims to simplify the direct training and fine-tuning process. Kedro provides a structured framework for building the entire ML project, including data processing and model training pipelines, offering more control over project architecture at the cost of less out-of-the-box training automation.

Ещё на Stork