Skip to content

Argo Workflows

Argo Workflows est un moteur de workflow open-source, natif de Kubernetes, pour l'orchestration de tâches parallèles, définissant les workflows en YAML pour les pipelines de données à usage général, le CI/CD et les tâches de machine learning.

Gratuit · Kubernetes · API

stork0:00 / 0:04
Camille, l'une des 89 voix. Appuyez sur lecture.
Une voix off coûte $0.05 la minute.
Tapez jusqu'à 20 000 caractères, recevez un MP3. 89 voix, 38 langues. Trois gratuites par jour, d'une minute chacune.
Créer une voix off

Qu'est-ce que Argo Workflows ?

Argo Workflows est un outil de moteur de workflow développé par le Argo Project qui permet aux développeurs, ingénieurs DevOps, ingénieurs ML, ingénieurs de données et ingénieurs de plateforme d'orchestrer des tâches parallèles sur Kubernetes. Il définit les workflows en YAML, ce qui le rend adapté aux pipelines de données à usage général, au CI/CD et aux tâches de machine learning dans un environnement Kubernetes.

Implémenté comme une Custom Resource Definition (CRD) de Kubernetes, chaque étape d'un workflow est exécutée comme un conteneur. Le moteur prend en charge les workflows basés sur les graphes acycliques dirigés (DAG) et les étapes, permettant aux utilisateurs de modéliser des workflows multi-étapes comme une séquence de tâches ou de capturer les dépendances entre les tâches à l'aide d'un graphe. Cette approche native de Kubernetes garantit qu'il est léger, scalable et agnostique du cloud, fonctionnant sur n'importe quel cluster Kubernetes. En tant que projet diplômé de la Cloud Native Computing Foundation (CNCF), Argo Workflows témoigne de sa maturité et de son adoption généralisée.

Fonctionnalités clés de Argo Workflows

Argo Workflows offre un ensemble complet de fonctionnalités pour l'orchestration de workflows natifs de conteneurs sur Kubernetes, tirant parti de sa syntaxe YAML déclarative et de son implémentation CRD pour des opérations robustes et évolutives.

  • Moteur de workflow natif de Kubernetes, implémenté comme une Custom Resource Definition (CRD).
  • Orchestre les tâches parallèles, chaque étape étant exécutée comme un conteneur.
  • Définit les workflows à l'aide de YAML, prenant en charge les workflows basés sur les graphes acycliques dirigés (DAG) et les étapes.
  • Permet de modéliser des workflows multi-étapes comme une séquence de tâches ou de capturer les dépendances entre les tâches.
  • Prend en charge la gestion des artefacts pour S3, GCS, HTTP et d'autres solutions de stockage.
  • Fournit des modèles de workflow pour la réutilisabilité et la planification cron pour l'exécution automatisée.
  • Comprend une interface utilisateur pour la visualisation et la gestion des workflows.
  • Offre des mécanismes de tolérance aux pannes pour une exécution résiliente des workflows.
  • Prend en charge les requêtes et les limites de ressources au niveau du pod via le champ podResources (introduit dans la version 4.1.0).
  • Propose un mode initlessPod optionnel pour éliminer le conteneur d'initialisation argoexec (introduit dans la version 4.1.0).

Qui devrait utiliser Argo Workflows ?

Argo Workflows est conçu pour les professionnels techniques qui ont besoin d'une orchestration robuste, scalable et native de Kubernetes pour divers scénarios d'exécution de tâches parallèles.

  • Développeurs : Pour automatiser les processus de construction, de test et de déploiement dans les environnements Kubernetes, en exécutant des pipelines CI/CD de manière native.
  • Ingénieurs DevOps : Pour l'automatisation de l'infrastructure, l'orchestration des déploiements d'applications complexes et distribuées, et la gestion des tâches par lots comme les sauvegardes.
  • Ingénieurs ML : Pour exécuter des tâches gourmandes en calcul pour l'entraînement de modèles, l'expérimentation et la construction de plateformes MLOps.
  • Ingénieurs de données : Pour orchestrer des pipelines de traitement de données complexes, y compris les processus ETL (Extract, Transform, Load) et l'analyse de données à grande échelle.
  • Ingénieurs de plateforme : Pour construire et gérer des plateformes internes qui nécessitent un moteur de workflow flexible et scalable sur Kubernetes.

Comment utiliser Argo Workflows

Pour commencer à utiliser Argo Workflows, les utilisateurs installent généralement le contrôleur Argo Workflows sur un cluster Kubernetes existant, puis définissent leurs workflows à l'aide de manifestes YAML.

  1. Installer Argo Workflows : Déployer le contrôleur Argo Workflows et les composants associés sur un cluster Kubernetes à l'aide de kubectl ou Helm.
  2. Définir un Workflow : Créer un fichier YAML qui spécifie le workflow, y compris ses étapes, conteneurs, entrées, sorties et dépendances (par exemple, un DAG).
  3. Soumettre le Workflow : Appliquer le manifeste YAML au cluster Kubernetes à l'aide de kubectl apply -f your-workflow.yaml.
  4. Surveiller l'exécution du Workflow : Utiliser l'interface utilisateur d'Argo Workflows ou l'interface de ligne de commande argo CLI pour surveiller l'état, les journaux et les artefacts des workflows en cours d'exécution.
  5. Gérer les Artefacts : Configurer les dépôts d'artefacts (par exemple, S3, GCS) pour stocker et récupérer les données générées par les étapes du workflow.
  6. Utiliser les Modèles : Créer et réutiliser des modèles de workflow pour les tâches courantes afin de rationaliser la définition et la maintenance des workflows.

Tarification et plans de Argo Workflows

Argo Workflows est un projet open-source et est disponible gratuitement. Il n'y a pas de coûts directs associés à l'utilisation du moteur principal d'Argo Workflows, bien que les utilisateurs encourent des coûts pour l'infrastructure Kubernetes sous-jacente (par exemple, les frais de fournisseur de cloud pour le calcul, le stockage et le réseau) où Argo Workflows est déployé.

  • Open Source : Gratuit

Points forts

  • Kubernetes-native design, running all pipeline steps on existing Kubernetes cluster resources, ensuring scalability and cloud-agnosticism.
  • Declarative workflow configuration using YAML, simplifying definition and management of complex automation.
  • Supports both sequential tasks and Directed Acyclic Graphs (DAGs) for managing task dependencies.
  • Robust features including artifact management, parallel execution, and a full-featured UI for visualization and monitoring.
  • Open-source project with a healthy and active community, evidenced by over 16,200 GitHub stars and 75% production usage by 2025.
  • Potential for cost optimization; one user reported a 40% reduction in Kubernetes bills by consolidating CronJobs into Argo Workflows.

Points faibles

  • Integration with Git platforms can present challenges for some users.
  • Requires familiarity with Kubernetes concepts and YAML for effective workflow definition and management.
  • While open-source, operational overhead for deployment, maintenance, and scaling rests entirely on the user's team.
  • The learning curve for complex workflow patterns and advanced features may be steep for new users.

Argo Workflows vs Concurrents

Argo Workflows évolue dans un paysage concurrentiel d'outils d'orchestration de workflows, chacun avec des spécialisations et des approches architecturales distinctes.

Argo Workflows

Gratuit · Kubernetes · API

Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.

un e-mail par jour · désinscription en deux clics · aucun traqueur tiers