KI-Werkzeug

Soup CLI Review

Soup CLI ist ein Open-Source-Befehlszeilentool zur effizienten Feinabstimmung großer Sprachmodelle, selbst auf Hardware mit begrenzten Ressourcen, indem Modellschichten aus RAM oder NVMe gestreamt werden.

shipped 9. Aug. 2026free

Domain rating34

Warum es wichtig ist

1Ermöglicht die Feinabstimmung von 8-Milliarden-Parameter-LLMs auf GPUs mit nur 4 GB VRAM durch Layer Streaming.

2Unterstützt verschiedene Präferenzverluste, darunter DPO, ORPO, SimPO und KTO, auch mit Layer Streaming, ab Version 0.72.4.

3Bietet Funktionen zur Wissensbearbeitung (z. B. ROME, MEMIT) und zum Entlernen (z. B. NPO, SimNPO), eingeführt in v0.61.0 und v0.71.9.

4Bietet Pre-Flight-Datenvalidierung, Linting und automatisierte Konfiguration für das LLM-Training.

Über Soup CLI

Geschäftsmodell

Open Source

Plattformen

CLI, Web

Zielgruppe

Machine Learning practitioners and researchers

Preispläne

Free

Führungsteam

Alpamys Makazhan

GitHubOpen Source

Spezifikationen

API-Dokumentation

Dokumentation ansehen →

GitHub

Repository ansehen →

API verfügbar

Ja, öffentliche API

overview

Was ist Soup CLI?

Soup CLI ist ein MLOps-Tool (Machine Learning Operations), das von Alpamys Makazhan entwickelt wurde und es Entwicklern, ML-Ingenieuren, Forschern und Datenwissenschaftlern ermöglicht, große Sprachmodelle (LLMs) effizient feinabzustimmen und nachzutrainieren. Es vereinfacht den Prozess durch die Automatisierung von Konfigurationen und Datenmanagement und macht es durch Funktionen wie Layer Streaming auf Hardware mit begrenztem VRAM, wie Laptops mit 4-GB-GPUs, zugänglich. Das Tool ist Open Source unter der Apache-2.0-Lizenz und konzentriert sich auf die Optimierung des gesamten LLM-Feinabstimmungs-Workflows von der Datenvorbereitung bis zur Bereitstellung.

features

Hauptmerkmale von Soup CLI

Soup CLI bietet eine umfassende Reihe von Funktionen, die darauf ausgelegt sind, die Feinabstimmung großer Sprachmodelle zu vereinfachen und zu optimieren. Die Kernfunktionen konzentrieren sich auf effiziente Ressourcennutzung, automatisierte Konfiguration und einen vollständigen Post-Training-Stack.

Automatisierte Konfiguration von Feinabstimmungsparametern über eine einzige YAML-Datei.
Layer Streaming für effiziente Ressourcennutzung, das 8B-Modelle auf 4-GB-Laptop-GPUs durch Streaming von Decoder-Layern aus RAM oder NVMe ermöglicht.
Unterstützung für mehrere Machine-Learning-Methoden und Frameworks, einschließlich SFT, DPO, ORPO, SimPO und KTO für die Modellausrichtung.
Pre-Flight-Datenvalidierung und Linting für LLM-Trainingsdatensätze.
Fähigkeiten zur Wissensbearbeitung (z. B. ROME, MEMIT, AlphaEdit), um Fakten in Modellen präzise zu korrigieren.
Entlernen spezifischer Daten (z. B. NPO, SimNPO, RMU-Methoden) aus Gründen des Datenschutzes oder der Compliance.
Evaluierung, Diagnose und Interpretation der LLM-Leistung und des Verhaltens.
Export und Bereitstellung feinabgestimmter LLMs in verschiedenen Formaten wie GGUF für llama.cpp und über OpenAI-kompatible Server.
Open Source unter der Apache-2.0-Lizenz, wodurch keine Anbieterbindung entsteht.

use cases

Wer sollte Soup CLI verwenden?

Soup CLI wurde primär für Machine-Learning-Praktiker und Forscher entwickelt, die große Sprachmodelle effizient feinabstimmen müssen, insbesondere wenn sie mit ressourcenbeschränkter Hardware arbeiten. Seine Automatisierungs- und Optimierungsfunktionen machen es für verschiedene Szenarien geeignet.

Entwickler und ML-Ingenieure: Für die Feinabstimmung von LLMs mit Methoden wie SFT, DPO, GRPO und KTO sowie zur Optimierung des Trainings auf Hardware mit begrenztem VRAM (z. B. 4-GB-GPUs).
Forscher: Zur Evaluierung, Diagnose und Interpretation der LLM-Leistung und zum Experimentieren mit Wissensbearbeitungs- und Entlerntechniken.
Datenwissenschaftler: Für die Pre-Flight-Datenvalidierung und das Linting von LLM-Trainingsdatensätzen, um die Datenqualität vor der Modelleingabe sicherzustellen.
Teams, die von anderen ML-Tools wechseln: Für Benutzer, die Konfigurationen von Tools wie LLaMA-Factory, Axolotl oder Unsloth in eine optimierte Feinabstimmungsumgebung migrieren möchten.

how to use

So verwenden Sie Soup CLI

Soup CLI vereinfacht den LLM-Feinabstimmungsprozess durch eine Befehlszeilenschnittstelle und eine einzige YAML-Konfigurationsdatei. Benutzer können mit der Installation des Tools beginnen und ihre Modell- und Datenparameter definieren.

1Installieren Sie Soup CLI über pip oder durch Klonen des GitHub-Repositorys.
2Erstellen Sie eine YAML-Konfigurationsdatei, die das Basismodell (z. B. Llama 3.1 8B Instruct), den Datensatz, die Feinabstimmungsmethode (z. B. SFT, DPO) und die Hardwareparameter angibt.
3Führen Sie den Befehl soup train aus, der die GPU-Erkennung, die Anpassung der Batch-Größe und die Quantisierung automatisch handhabt.
4Verwenden Sie soup doctor für die Pre-Flight-Datenvalidierung und das Linting von Trainingsdatensätzen.
5Verwenden Sie soup eval, um die Leistung feinabgestimmter Modelle zu bewerten und zu diagnostizieren.
6Exportieren Sie feinabgestimmte Modelle mit soup export in Formate wie GGUF für die lokale Bereitstellung mit llama.cpp oder Ollama.

pricing

Soup CLI Preisgestaltung & Pläne

Soup CLI ist ein Open-Source-Tool, das unter der Apache-2.0-Lizenz veröffentlicht wurde. Es ist vollständig kostenlos zu verwenden, herunterzuladen und zu modifizieren, ohne damit verbundene Abonnementgebühren oder nutzungsbasierte Kosten. Dieses Modell gewährleistet die Zugänglichkeit für alle Benutzer, von einzelnen Entwicklern bis hin zu Forschungseinrichtungen, ohne Anbieterbindung.

Kostenlos: Voller Zugriff auf alle Funktionen, einschließlich LLM-Feinabstimmung, Layer Streaming, Wissensbearbeitung und Entlernfunktionen.

Pros

+Enables fine-tuning of 8B LLMs on GPUs with as little as 4GB VRAM through its layer streaming technique.
+Automates complex configuration tasks, reducing setup time for LLM training environments.
+Provides a comprehensive post-training stack, including data validation (soup data doctor) and model evaluation (soup ship).
+Supports various fine-tuning methods, including SFT, DPO, ORPO, SimPO, and KTO, for diverse use cases.
+Offers an OpenAI-compatible API server for serving fine-tuned models, simplifying deployment.
+Open-source under Apache-2.0 License, promoting transparency and community contributions.

Cons

−The layer streaming feature is currently in beta, which may imply potential instability or ongoing development.
−Specific API rate limits for the CMS Delivery API and OpenAI-compatible API server are currently unknown.
−While simplifying the workflow, it might offer less granular control over individual components compared to highly modular frameworks like Kedro or Hydra.
−Community support is primarily via Discord and GitHub, which may not suit all users compared to dedicated enterprise support channels.

Ähnliche Tools

Soup CLI vs. Wettbewerber

Soup CLI agiert in der wettbewerbsintensiven Landschaft der Machine-Learning-Entwicklungstools und konzentriert sich dabei auf zugängliche LLM-Feinabstimmung und Post-Training-Funktionen, insbesondere für ressourcenbeschränkte Umgebungen. Es unterscheidet sich von breiteren MLOps-Plattformen und spezialisierten Konfigurations- oder Versionierungstools.

MLflowOn Stork

It provides a platform for managing the end-to-end machine learning lifecycle, including experiment tracking, reproducible runs, and model deployment.

While Soup CLI focuses on simplifying the training and fine-tuning process with automation, MLflow offers a broader suite of tools for experiment tracking, model management, and reproducibility across the entire ML lifecycle. You might need to integrate MLflow more explicitly into your training scripts compared to Soup CLI's more opinionated automation.

DVCOn Stork

It brings Git-like version control to data and machine learning models, enabling reproducible experiments and pipelines.

Soup CLI includes data management as part of its broader training automation. DVC specializes purely in data and model versioning and pipeline definition, requiring you to integrate it into your existing training scripts rather than automating the training loop itself.

Hydra↗

It provides a framework for elegantly configuring complex applications, especially useful for machine learning experiments with many parameters.

Soup CLI offers auto-configuration as part of its end-to-end training simplification. Hydra focuses exclusively on robust and dynamic configuration management, giving you fine-grained control over experiment parameters but not handling data management or the training execution itself.

KedroOn Stork

It's a Python framework that helps build robust, scalable, and reproducible data science and machine learning pipelines with a strong emphasis on code modularity.

Soup CLI aims to simplify the direct training and fine-tuning process. Kedro provides a structured framework for building the entire ML project, including data processing and model training pipelines, offering more control over project architecture at the cost of less out-of-the-box training automation.

Mehr auf Stork