Outil d'IA

Revue de Soup CLI

Soup CLI est un outil d'interface en ligne de commande open-source pour l'ajustement fin de grands modèles linguistiques (LLM) de manière efficace, même sur du matériel aux ressources limitées, en diffusant les couches du modèle depuis la RAM ou le NVMe.

shipped 9 août 2026free

Domain rating34

Pourquoi c'est important

1Permet l'ajustement fin de LLM de 8 milliards de paramètres sur des GPU avec aussi peu que 4 Go de VRAM grâce à la diffusion de couches.

2Prend en charge diverses pertes de préférence, y compris DPO, ORPO, SimPO et KTO, même avec la diffusion de couches, à partir de la version 0.72.4.

3Offre des capacités d'édition de connaissances (par exemple, ROME, MEMIT) et de désapprentissage (par exemple, NPO, SimNPO), introduites dans les versions v0.61.0 et v0.71.9.

4Fournit une validation des données avant le vol, un linting et une configuration automatisée pour l'entraînement des LLM.

À propos de Soup CLI

Modèle économique

Open Source

Plateformes

CLI, Web

Public cible

Machine Learning practitioners and researchers

Formules tarifaires

Free

Direction

Alpamys Makazhan

GitHubOpen Source

Spécifications

Documentation API

Voir la documentation →

GitHub

Voir le dépôt →

API disponible

Oui, API publique

overview

Qu'est-ce que Soup CLI ?

Soup CLI est un outil d'opérations d'apprentissage automatique (MLOps) développé par Alpamys Makazhan qui permet aux développeurs, ingénieurs ML, chercheurs et scientifiques des données d'ajuster finement et de post-entraîner efficacement de grands modèles linguistiques (LLM). Il simplifie le processus en automatisant les configurations et la gestion des données, le rendant accessible sur du matériel avec une VRAM limitée, comme les ordinateurs portables avec des GPU de 4 Go, grâce à des fonctionnalités comme la diffusion de couches. L'outil est open-source sous la licence Apache-2.0 et se concentre sur la rationalisation de l'ensemble du flux de travail d'ajustement fin des LLM, de la préparation des données au déploiement.

features

Fonctionnalités clés de Soup CLI

Soup CLI offre un ensemble complet de fonctionnalités conçues pour simplifier et optimiser l'ajustement fin des grands modèles linguistiques. Ses capacités principales tournent autour de l'utilisation efficace des ressources, de la configuration automatisée et d'une pile de post-entraînement complète.

Configuration automatisée des paramètres d'ajustement fin via un seul fichier YAML.
Diffusion de couches pour une utilisation efficace des ressources, permettant des modèles 8B sur des GPU d'ordinateur portable de 4 Go en diffusant les couches du décodeur depuis la RAM ou le NVMe.
Prise en charge de plusieurs méthodes et frameworks d'apprentissage automatique, y compris SFT, DPO, ORPO, SimPO et KTO pour l'alignement des modèles.
Validation des données avant le vol et linting pour les ensembles de données d'entraînement des LLM.
Capacités d'édition de connaissances (par exemple, ROME, MEMIT, AlphaEdit) pour patcher chirurgicalement des faits dans les modèles.
Désapprentissage de données spécifiques (par exemple, méthodes NPO, SimNPO, RMU) pour la confidentialité ou la conformité.
Évaluation, diagnostic et interprétation des performances et du comportement des LLM.
Exportation et service de LLM ajustés finement dans divers formats comme GGUF pour llama.cpp et via des serveurs compatibles OpenAI.
Open-source sous la licence Apache-2.0, garantissant l'absence de verrouillage fournisseur.

use cases

Qui devrait utiliser Soup CLI ?

Soup CLI est principalement conçu pour les praticiens et les chercheurs en apprentissage automatique qui ont besoin d'ajuster finement de grands modèles linguistiques de manière efficace, en particulier lorsqu'ils travaillent avec du matériel aux ressources limitées. Ses fonctionnalités d'automatisation et d'optimisation le rendent adapté à divers scénarios.

Développeurs et ingénieurs ML : Pour l'ajustement fin de LLM avec des méthodes comme SFT, DPO, GRPO et KTO, et pour l'optimisation de l'entraînement sur du matériel avec une VRAM limitée (par exemple, GPU de 4 Go).
Chercheurs : Pour l'évaluation, le diagnostic et l'interprétation des performances des LLM, et pour l'expérimentation avec les techniques d'édition de connaissances et de désapprentissage.
Scientifiques des données : Pour la validation des données avant le vol et le linting pour l'entraînement des LLM, garantissant la qualité des données avant l'ingestion du modèle.
Équipes en transition depuis d'autres outils ML : Pour les utilisateurs cherchant à migrer des configurations d'outils comme LLaMA-Factory, Axolotl ou Unsloth vers un environnement d'ajustement fin rationalisé.

how to use

Comment utiliser Soup CLI

Soup CLI simplifie le processus d'ajustement fin des LLM grâce à une interface en ligne de commande et un seul fichier de configuration YAML. Les utilisateurs peuvent commencer par installer l'outil et définir leurs paramètres de modèle et de données.

1Installez Soup CLI via pip ou en clonant le dépôt GitHub.
2Créez un fichier de configuration YAML spécifiant le modèle de base (par exemple, Llama 3.1 8B Instruct), l'ensemble de données, la méthode d'ajustement fin (par exemple, SFT, DPO) et les paramètres matériels.
3Exécutez la commande soup train, qui gère automatiquement la détection du GPU, l'ajustement de la taille du lot et la quantification.
4Utilisez soup doctor pour la validation des données avant le vol et le linting des ensembles de données d'entraînement.
5Employez soup eval pour évaluer et diagnostiquer les performances des modèles ajustés finement.
6Exportez les modèles ajustés finement à l'aide de soup export vers des formats comme GGUF pour un service local avec llama.cpp ou Ollama.

pricing

Tarification et plans de Soup CLI

Soup CLI est un outil open-source publié sous la licence Apache-2.0. Il est entièrement gratuit à utiliser, télécharger et modifier, sans frais d'abonnement ni coûts basés sur l'utilisation. Ce modèle assure l'accessibilité pour tous les utilisateurs, des développeurs individuels aux institutions de recherche, sans verrouillage fournisseur.

Gratuit : Accès complet à toutes les fonctionnalités, y compris l'ajustement fin des LLM, la diffusion de couches, l'édition de connaissances et les capacités de désapprentissage.

Pros

+Enables fine-tuning of 8B LLMs on GPUs with as little as 4GB VRAM through its layer streaming technique.
+Automates complex configuration tasks, reducing setup time for LLM training environments.
+Provides a comprehensive post-training stack, including data validation (soup data doctor) and model evaluation (soup ship).
+Supports various fine-tuning methods, including SFT, DPO, ORPO, SimPO, and KTO, for diverse use cases.
+Offers an OpenAI-compatible API server for serving fine-tuned models, simplifying deployment.
+Open-source under Apache-2.0 License, promoting transparency and community contributions.

Cons

−The layer streaming feature is currently in beta, which may imply potential instability or ongoing development.
−Specific API rate limits for the CMS Delivery API and OpenAI-compatible API server are currently unknown.
−While simplifying the workflow, it might offer less granular control over individual components compared to highly modular frameworks like Kedro or Hydra.
−Community support is primarily via Discord and GitHub, which may not suit all users compared to dedicated enterprise support channels.

Outils similaires

Soup CLI vs Concurrents

Soup CLI opère dans le paysage concurrentiel des outils de développement d'apprentissage automatique, en se concentrant distinctement sur l'ajustement fin accessible des LLM et les capacités de post-entraînement, en particulier pour les environnements aux ressources limitées. Il se différencie des plateformes MLOps plus larges et des outils spécialisés de configuration ou de versioning.

MLflowOn Stork

It provides a platform for managing the end-to-end machine learning lifecycle, including experiment tracking, reproducible runs, and model deployment.

While Soup CLI focuses on simplifying the training and fine-tuning process with automation, MLflow offers a broader suite of tools for experiment tracking, model management, and reproducibility across the entire ML lifecycle. You might need to integrate MLflow more explicitly into your training scripts compared to Soup CLI's more opinionated automation.

DVCOn Stork

It brings Git-like version control to data and machine learning models, enabling reproducible experiments and pipelines.

Soup CLI includes data management as part of its broader training automation. DVC specializes purely in data and model versioning and pipeline definition, requiring you to integrate it into your existing training scripts rather than automating the training loop itself.

Hydra↗

It provides a framework for elegantly configuring complex applications, especially useful for machine learning experiments with many parameters.

Soup CLI offers auto-configuration as part of its end-to-end training simplification. Hydra focuses exclusively on robust and dynamic configuration management, giving you fine-grained control over experiment parameters but not handling data management or the training execution itself.

KedroOn Stork

It's a Python framework that helps build robust, scalable, and reproducible data science and machine learning pipelines with a strong emphasis on code modularity.

Soup CLI aims to simplify the direct training and fine-tuning process. Kedro provides a structured framework for building the entire ML project, including data processing and model training pipelines, offering more control over project architecture at the cost of less out-of-the-box training automation.

Plus sur Stork

Outils IA connexes

Autres outils de cette catégorie, rapprochés par tags communs

Bid to Up NanoImage SaySorry.in Nerdy — Workout Tracker (No LLM)Marketplace Operations AfterMeeting

Visiter Soup CLI↗

Contact

⌘

GitHubgithub.com/MakazhanAlpamys

💬

Discorddiscord.gg/8RgVbFA6Zq