Skip to content
Stork.AIstork.ai
Ferramenta de IA

Revisão do Soup CLI

Soup CLI é uma ferramenta de interface de linha de comando de código aberto para ajustar modelos de linguagem grandes de forma eficiente, mesmo em hardware com recursos limitados, transmitindo camadas do modelo da RAM ou NVMe.

shipped 9 de ago. de 2026free
Domain rating34
Soup CLI — product screenshot

Por que importa

1Permite o ajuste fino de LLMs de 8 bilhões de parâmetros em GPUs com apenas 4GB de VRAM usando streaming de camadas.
2Suporta várias perdas de preferência, incluindo DPO, ORPO, SimPO e KTO, mesmo com streaming de camadas, a partir da versão 0.72.4.
3Oferece recursos de edição de conhecimento (por exemplo, ROME, MEMIT) e desaprendizagem (por exemplo, NPO, SimNPO), introduzidos nas versões v0.61.0 e v0.71.9.
4Fornece validação de dados pré-voo, linting e configuração automatizada para treinamento de LLM.

Sobre o Soup CLI

Modelo de negócio
Open Source
Plataformas
CLI, Web
Público-alvo
Machine Learning practitioners and researchers

Planos de preços

Free
Free

Liderança

Alpamys Makazhan
GitHubOpen Source

Especificações

Documentação API

Ver documentação →

GitHub

Ver repositório →

API disponível

Sim, API pública

overview

O que é o Soup CLI?

Soup CLI é uma ferramenta de operações de machine learning (MLOps) desenvolvida por Alpamys Makazhan que permite a desenvolvedores, engenheiros de ML, pesquisadores e cientistas de dados ajustar e pós-treinar modelos de linguagem grandes (LLMs) de forma eficiente. Ele simplifica o processo automatizando configurações e gerenciamento de dados, tornando-o acessível em hardware com VRAM limitada, como laptops com GPUs de 4GB, através de recursos como streaming de camadas. A ferramenta é de código aberto sob a Licença Apache-2.0 e foca em otimizar todo o fluxo de trabalho de ajuste fino de LLM, desde a preparação de dados até a implantação.

features

Principais Recursos do Soup CLI

Soup CLI oferece um conjunto abrangente de recursos projetados para simplificar e otimizar o ajuste fino de modelos de linguagem grandes. Suas capacidades centrais giram em torno da utilização eficiente de recursos, configuração automatizada e uma pilha completa de pós-treinamento.

  • Configuração automatizada de parâmetros de ajuste fino via um único arquivo YAML.
  • Streaming de camadas para uso eficiente de recursos, permitindo modelos 8B em GPUs de laptop de 4GB, transmitindo camadas do decodificador da RAM ou NVMe.
  • Suporte para múltiplos métodos e frameworks de machine learning, incluindo SFT, DPO, ORPO, SimPO e KTO para alinhamento de modelos.
  • Validação de dados pré-voo e linting para conjuntos de dados de treinamento de LLM.
  • Capacidades para edição de conhecimento (por exemplo, ROME, MEMIT, AlphaEdit) para corrigir fatos em modelos cirurgicamente.
  • Desaprendizagem de dados específicos (por exemplo, métodos NPO, SimNPO, RMU) para privacidade ou conformidade.
  • Avaliação, diagnóstico e interpretação do desempenho e comportamento de LLM.
  • Exportação e serviço de LLMs ajustados em vários formatos como GGUF para llama.cpp e via servidores compatíveis com OpenAI.
  • Código aberto sob a Licença Apache-2.0, garantindo que não há bloqueio de fornecedor.

use cases

Quem Deve Usar o Soup CLI?

Soup CLI é projetado principalmente para profissionais e pesquisadores de machine learning que precisam ajustar modelos de linguagem grandes de forma eficiente, especialmente ao trabalhar com hardware com recursos limitados. Seus recursos de automação e otimização o tornam adequado para vários cenários.

  • Desenvolvedores e Engenheiros de ML: Para ajustar LLMs com métodos como SFT, DPO, GRPO e KTO, e para otimizar o treinamento em hardware com VRAM limitada (por exemplo, GPUs de 4GB).
  • Pesquisadores: Para avaliar, diagnosticar e interpretar o desempenho de LLM, e para experimentar técnicas de edição de conhecimento e desaprendizagem.
  • Cientistas de Dados: Para validação de dados pré-voo e linting para treinamento de LLM, garantindo a qualidade dos dados antes da ingestão do modelo.
  • Equipes em Transição de Outras Ferramentas de ML: Para usuários que buscam migrar configurações de ferramentas como LLaMA-Factory, Axolotl ou Unsloth para um ambiente de ajuste fino simplificado.

how to use

Como Usar o Soup CLI

Soup CLI simplifica o processo de ajuste fino de LLM através de uma interface de linha de comando e um único arquivo de configuração YAML. Os usuários podem começar instalando a ferramenta e definindo seus parâmetros de modelo e dados.

  • 1Instale o Soup CLI via pip ou clonando o repositório GitHub.
  • 2Crie um arquivo de configuração YAML especificando o modelo base (por exemplo, Llama 3.1 8B Instruct), conjunto de dados, método de ajuste fino (por exemplo, SFT, DPO) e parâmetros de hardware.
  • 3Execute o comando soup train, que lida automaticamente com a detecção de GPU, ajuste de tamanho de lote e quantização.
  • 4Utilize soup doctor para validação de dados pré-voo e linting de conjuntos de dados de treinamento.
  • 5Empregue soup eval para avaliar e diagnosticar o desempenho de modelos ajustados.
  • 6Exporte modelos ajustados usando soup export para formatos como GGUF para serviço local com llama.cpp ou Ollama.

pricing

Preços e Planos do Soup CLI

Soup CLI é uma ferramenta de código aberto lançada sob a Licença Apache-2.0. É totalmente gratuita para usar, baixar e modificar, sem taxas de assinatura ou custos baseados em uso associados. Este modelo garante acessibilidade para todos os usuários, desde desenvolvedores individuais até instituições de pesquisa, sem bloqueio de fornecedor.

  • Gratuito: Acesso total a todos os recursos, incluindo ajuste fino de LLM, streaming de camadas, edição de conhecimento e capacidades de desaprendizagem.

Pros

  • +Enables fine-tuning of 8B LLMs on GPUs with as little as 4GB VRAM through its layer streaming technique.
  • +Automates complex configuration tasks, reducing setup time for LLM training environments.
  • +Provides a comprehensive post-training stack, including data validation (soup data doctor) and model evaluation (soup ship).
  • +Supports various fine-tuning methods, including SFT, DPO, ORPO, SimPO, and KTO, for diverse use cases.
  • +Offers an OpenAI-compatible API server for serving fine-tuned models, simplifying deployment.
  • +Open-source under Apache-2.0 License, promoting transparency and community contributions.

Cons

  • −The layer streaming feature is currently in beta, which may imply potential instability or ongoing development.
  • −Specific API rate limits for the CMS Delivery API and OpenAI-compatible API server are currently unknown.
  • −While simplifying the workflow, it might offer less granular control over individual components compared to highly modular frameworks like Kedro or Hydra.
  • −Community support is primarily via Discord and GitHub, which may not suit all users compared to dedicated enterprise support channels.

Ferramentas similares

Soup CLI vs Concorrentes

Soup CLI opera no cenário competitivo de ferramentas de desenvolvimento de machine learning, oferecendo um foco distinto no ajuste fino de LLM acessível e capacidades de pós-treinamento, particularmente para ambientes com recursos limitados. Ele se diferencia de plataformas MLOps mais amplas e ferramentas especializadas de configuração ou versionamento.

1
MLflowOn Stork

It provides a platform for managing the end-to-end machine learning lifecycle, including experiment tracking, reproducible runs, and model deployment.

While Soup CLI focuses on simplifying the training and fine-tuning process with automation, MLflow offers a broader suite of tools for experiment tracking, model management, and reproducibility across the entire ML lifecycle. You might need to integrate MLflow more explicitly into your training scripts compared to Soup CLI's more opinionated automation.

2
DVCOn Stork

It brings Git-like version control to data and machine learning models, enabling reproducible experiments and pipelines.

Soup CLI includes data management as part of its broader training automation. DVC specializes purely in data and model versioning and pipeline definition, requiring you to integrate it into your existing training scripts rather than automating the training loop itself.

3
Hydra↗

It provides a framework for elegantly configuring complex applications, especially useful for machine learning experiments with many parameters.

Soup CLI offers auto-configuration as part of its end-to-end training simplification. Hydra focuses exclusively on robust and dynamic configuration management, giving you fine-grained control over experiment parameters but not handling data management or the training execution itself.

4
KedroOn Stork

It's a Python framework that helps build robust, scalable, and reproducible data science and machine learning pipelines with a strong emphasis on code modularity.

Soup CLI aims to simplify the direct training and fine-tuning process. Kedro provides a structured framework for building the entire ML project, including data processing and model training pipelines, offering more control over project architecture at the cost of less out-of-the-box training automation.

Mais no Stork

Ferramentas IA relacionadas

Outras ferramentas desta categoria, associadas por tags em comum

Bid to UpNanoImageSaySorry.inNerdy — Workout Tracker (No LLM)Marketplace OperationsAfterMeeting
Visitar Soup CLI↗
Conectar
⌘
GitHubgithub.com/MakazhanAlpamys
💬
Discorddiscord.gg/8RgVbFA6Zq