Herramienta de IA

Revisión de Soup CLI

Soup CLI es una herramienta de interfaz de línea de comandos de código abierto para ajustar eficientemente grandes modelos de lenguaje, incluso en hardware con recursos limitados, mediante la transmisión de capas de modelo desde la RAM o NVMe.

shipped 9 ago 2026free

Domain rating34

Por qué importa

1Permite el ajuste fino de LLMs de 8 mil millones de parámetros en GPUs con tan solo 4 GB de VRAM utilizando la transmisión de capas.

2Soporta varias pérdidas de preferencia, incluyendo DPO, ORPO, SimPO y KTO, incluso con transmisión de capas, a partir de la versión 0.72.4.

3Ofrece capacidades de edición de conocimiento (por ejemplo, ROME, MEMIT) y desaprendizaje (por ejemplo, NPO, SimNPO), introducidas en las versiones v0.61.0 y v0.71.9.

4Proporciona validación de datos previa al vuelo, linting y configuración automatizada para el entrenamiento de LLM.

Sobre Soup CLI

Modelo de negocio

Open Source

Plataformas

CLI, Web

Público objetivo

Machine Learning practitioners and researchers

Planes de precios

Free

Liderazgo

Alpamys Makazhan

GitHubOpen Source

Especificaciones

Documentación API

Ver documentación →

GitHub

Ver repositorio →

API disponible

Sí, API pública

overview

¿Qué es Soup CLI?

Soup CLI es una herramienta de operaciones de aprendizaje automático (MLOps) desarrollada por Alpamys Makazhan que permite a desarrolladores, ingenieros de ML, investigadores y científicos de datos ajustar y post-entrenar grandes modelos de lenguaje (LLMs) de manera eficiente. Simplifica el proceso automatizando las configuraciones y la gestión de datos, haciéndolo accesible en hardware con VRAM limitada, como laptops con GPUs de 4GB, a través de características como la transmisión de capas. La herramienta es de código abierto bajo la Licencia Apache-2.0 y se enfoca en optimizar todo el flujo de trabajo de ajuste fino de LLM, desde la preparación de datos hasta la implementación.

features

Características Clave de Soup CLI

Soup CLI proporciona un conjunto completo de características diseñadas para simplificar y optimizar el ajuste fino de grandes modelos de lenguaje. Sus capacidades principales giran en torno a la utilización eficiente de recursos, la configuración automatizada y una pila completa de post-entrenamiento.

Configuración automatizada de parámetros de ajuste fino a través de un único archivo YAML.
Transmisión de capas para un uso eficiente de los recursos, permitiendo modelos de 8B en GPUs de laptop de 4GB mediante la transmisión de capas de decodificador desde la RAM o NVMe.
Soporte para múltiples métodos y frameworks de aprendizaje automático, incluyendo SFT, DPO, ORPO, SimPO y KTO para la alineación del modelo.
Validación de datos previa al vuelo y linting para conjuntos de datos de entrenamiento de LLM.
Capacidades para la edición de conocimiento (por ejemplo, ROME, MEMIT, AlphaEdit) para parchear quirúrgicamente hechos en los modelos.
Desaprendizaje de datos específicos (por ejemplo, métodos NPO, SimNPO, RMU) por motivos de privacidad o cumplimiento.
Evaluación, diagnóstico e interpretación del rendimiento y comportamiento de los LLM.
Exportación y servicio de LLMs ajustados en varios formatos como GGUF para llama.cpp y a través de servidores compatibles con OpenAI.
Código abierto bajo la Licencia Apache-2.0, asegurando la ausencia de dependencia del proveedor.

use cases

¿Quién Debería Usar Soup CLI?

Soup CLI está diseñado principalmente para profesionales e investigadores de aprendizaje automático que necesitan ajustar grandes modelos de lenguaje de manera eficiente, especialmente cuando trabajan con hardware con recursos limitados. Sus características de automatización y optimización lo hacen adecuado para varios escenarios.

Desarrolladores e Ingenieros de ML: Para ajustar LLMs con métodos como SFT, DPO, GRPO y KTO, y para optimizar el entrenamiento en hardware con VRAM limitada (por ejemplo, GPUs de 4GB).
Investigadores: Para evaluar, diagnosticar e interpretar el rendimiento de los LLM, y para experimentar con técnicas de edición de conocimiento y desaprendizaje.
Científicos de Datos: Para la validación de datos previa al vuelo y linting para el entrenamiento de LLM, asegurando la calidad de los datos antes de la ingesta del modelo.
Equipos en Transición de Otras Herramientas de ML: Para usuarios que buscan migrar configuraciones de herramientas como LLaMA-Factory, Axolotl o Unsloth a un entorno de ajuste fino optimizado.

how to use

Cómo Usar Soup CLI

Soup CLI simplifica el proceso de ajuste fino de LLM a través de una interfaz de línea de comandos y un único archivo de configuración YAML. Los usuarios pueden comenzar instalando la herramienta y definiendo los parámetros de su modelo y datos.

1Instale Soup CLI a través de pip o clonando el repositorio de GitHub.
2Cree un archivo de configuración YAML especificando el modelo base (por ejemplo, Llama 3.1 8B Instruct), el conjunto de datos, el método de ajuste fino (por ejemplo, SFT, DPO) y los parámetros de hardware.
3Ejecute el comando soup train, que maneja automáticamente la detección de GPU, el ajuste del tamaño del lote y la cuantificación.
4Utilice soup doctor para la validación de datos previa al vuelo y linting de los conjuntos de datos de entrenamiento.
5Emplee soup eval para evaluar y diagnosticar el rendimiento de los modelos ajustados.
6Exporte modelos ajustados usando soup export a formatos como GGUF para el servicio local con llama.cpp o Ollama.

pricing

Precios y Planes de Soup CLI

Soup CLI es una herramienta de código abierto lanzada bajo la Licencia Apache-2.0. Es completamente gratuita para usar, descargar y modificar, sin tarifas de suscripción ni costos basados en el uso. Este modelo garantiza la accesibilidad para todos los usuarios, desde desarrolladores individuales hasta instituciones de investigación, sin dependencia del proveedor.

Gratis: Acceso completo a todas las funciones, incluyendo el ajuste fino de LLM, la transmisión de capas, la edición de conocimiento y las capacidades de desaprendizaje.

Pros

+Enables fine-tuning of 8B LLMs on GPUs with as little as 4GB VRAM through its layer streaming technique.
+Automates complex configuration tasks, reducing setup time for LLM training environments.
+Provides a comprehensive post-training stack, including data validation (soup data doctor) and model evaluation (soup ship).
+Supports various fine-tuning methods, including SFT, DPO, ORPO, SimPO, and KTO, for diverse use cases.
+Offers an OpenAI-compatible API server for serving fine-tuned models, simplifying deployment.
+Open-source under Apache-2.0 License, promoting transparency and community contributions.

Cons

−The layer streaming feature is currently in beta, which may imply potential instability or ongoing development.
−Specific API rate limits for the CMS Delivery API and OpenAI-compatible API server are currently unknown.
−While simplifying the workflow, it might offer less granular control over individual components compared to highly modular frameworks like Kedro or Hydra.
−Community support is primarily via Discord and GitHub, which may not suit all users compared to dedicated enterprise support channels.

Herramientas similares

Soup CLI vs Competidores

Soup CLI opera en el competitivo panorama de las herramientas de desarrollo de aprendizaje automático, ofreciendo un enfoque distintivo en el ajuste fino accesible de LLM y las capacidades de post-entrenamiento, particularmente para entornos con recursos limitados. Se diferencia de las plataformas MLOps más amplias y de las herramientas especializadas de configuración o versionado.

MLflowOn Stork

It provides a platform for managing the end-to-end machine learning lifecycle, including experiment tracking, reproducible runs, and model deployment.

While Soup CLI focuses on simplifying the training and fine-tuning process with automation, MLflow offers a broader suite of tools for experiment tracking, model management, and reproducibility across the entire ML lifecycle. You might need to integrate MLflow more explicitly into your training scripts compared to Soup CLI's more opinionated automation.

DVCOn Stork

It brings Git-like version control to data and machine learning models, enabling reproducible experiments and pipelines.

Soup CLI includes data management as part of its broader training automation. DVC specializes purely in data and model versioning and pipeline definition, requiring you to integrate it into your existing training scripts rather than automating the training loop itself.

Hydra↗

It provides a framework for elegantly configuring complex applications, especially useful for machine learning experiments with many parameters.

Soup CLI offers auto-configuration as part of its end-to-end training simplification. Hydra focuses exclusively on robust and dynamic configuration management, giving you fine-grained control over experiment parameters but not handling data management or the training execution itself.

KedroOn Stork

It's a Python framework that helps build robust, scalable, and reproducible data science and machine learning pipelines with a strong emphasis on code modularity.

Soup CLI aims to simplify the direct training and fine-tuning process. Kedro provides a structured framework for building the entire ML project, including data processing and model training pipelines, offering more control over project architecture at the cost of less out-of-the-box training automation.

Más en Stork

Herramientas IA relacionadas

Otras herramientas de esta categoría, emparejadas por etiquetas comunes

Bid to Up NanoImage SaySorry.in Nerdy — Workout Tracker (No LLM)Marketplace Operations AfterMeeting

Visitar Soup CLI↗

Conectar

⌘

GitHubgithub.com/MakazhanAlpamys

💬

Discorddiscord.gg/8RgVbFA6Zq