Skip to content

Argo Workflows

Argo Workflows ist eine Open-Source, Kubernetes-native Workflow-Engine zur Orchestrierung paralleler Jobs, die Workflows als YAML für allgemeine Datenpipelines, CI/CD und Machine-Learning-Aufgaben definiert.

Kostenlos · Kubernetes · API

stork0:00 / 0:05
Lena, eine von 89 Stimmen. Auf Play drücken.
Ein Voiceover kostet $0.05 pro Minute.
Bis zu 20 000 Zeichen tippen, MP3 erhalten. 89 Stimmen, 38 Sprachen. Drei pro Tag kostenlos, je eine Minute.
Voiceover erstellen

Was ist Argo Workflows?

Argo Workflows ist ein Workflow-Engine-Tool, das vom Argo Project entwickelt wurde und es Entwicklern, DevOps-Ingenieuren, ML-Ingenieuren, Dateningenieuren und Plattformingenieuren ermöglicht, parallele Jobs auf Kubernetes zu orchestrieren. Es definiert Workflows als YAML, wodurch es sich für allgemeine Datenpipelines, CI/CD und Machine-Learning-Aufgaben in einer Kubernetes-Umgebung eignet.

Als Kubernetes Custom Resource Definition (CRD) implementiert, wird jeder Schritt in einem Workflow als Container ausgeführt. Die Engine unterstützt sowohl Directed Acyclic Graph (DAG)- als auch schrittbasierte Workflows, wodurch Benutzer mehrstufige Workflows als Abfolge von Aufgaben modellieren oder Abhängigkeiten zwischen Aufgaben mithilfe eines Graphen erfassen können. Dieser Kubernetes-native Ansatz stellt sicher, dass es leichtgewichtig, skalierbar und Cloud-agnostisch ist und auf jedem Kubernetes-Cluster läuft. Als ein von der Cloud Native Computing Foundation (CNCF) graduiertes Projekt signalisiert Argo Workflows seine Reife und weite Verbreitung.

Hauptmerkmale von Argo Workflows

Argo Workflows bietet eine umfassende Reihe von Funktionen zur Orchestrierung von Container-nativen Workflows auf Kubernetes, wobei die deklarative YAML-Syntax und die CRD-Implementierung für robuste und skalierbare Operationen genutzt werden.

  • Kubernetes-native Workflow-Engine, implementiert als Custom Resource Definition (CRD).
  • Orchestriert parallele Jobs, wobei jeder Schritt als Container ausgeführt wird.
  • Definiert Workflows mithilfe von YAML und unterstützt sowohl Directed Acyclic Graph (DAG)- als auch schrittbasierte Workflows.
  • Ermöglicht die Modellierung mehrstufiger Workflows als Abfolge von Aufgaben oder die Erfassung von Abhängigkeiten zwischen Aufgaben.
  • Unterstützt das Artefaktmanagement für S3, GCS, HTTP und andere Speicherlösungen.
  • Bietet Workflow-Templating für Wiederverwendbarkeit und Cron-Scheduling für die automatisierte Ausführung.
  • Enthält eine Benutzeroberfläche zur Visualisierung und Verwaltung von Workflows.
  • Bietet Fehlertoleranzmechanismen für eine robuste Workflow-Ausführung.
  • Unterstützt Pod-Level-Ressourcenanforderungen und -limits über das Feld podResources (eingeführt in 4.1.0).
  • Verfügt über einen optionalen initlessPod-Modus zur Eliminierung des argoexec-Init-Containers (eingeführt in 4.1.0).

Wer sollte Argo Workflows verwenden?

Argo Workflows wurde für technische Fachkräfte entwickelt, die eine robuste, skalierbare und Kubernetes-native Orchestrierung für verschiedene Szenarien der parallelen Jobausführung benötigen.

  • Entwickler: Zur Automatisierung von Build-, Test- und Bereitstellungsprozessen in Kubernetes-Umgebungen, zum nativen Ausführen von CI/CD-Pipelines.
  • DevOps-Ingenieure: Für die Infrastrukturautomatisierung, die Orchestrierung von Bereitstellungen komplexer, verteilter Anwendungen und die Verwaltung von Batch-Jobs wie Backups.
  • ML-Ingenieure: Zum Ausführen rechenintensiver Jobs für Modelltraining, Experimente und den Aufbau von MLOps-Plattformen.
  • Dateningenieure: Zur Orchestrierung komplexer Datenverarbeitungspipelines, einschließlich ETL-Prozessen (Extract, Transform, Load) und groß angelegter Datenanalyse.
  • Plattformingenieure: Zum Aufbau und zur Verwaltung interner Plattformen, die eine flexible und skalierbare Workflow-Engine auf Kubernetes erfordern.

Wie man Argo Workflows verwendet

Um Argo Workflows zu verwenden, installieren Benutzer typischerweise den Argo Workflows Controller auf einem bestehenden Kubernetes-Cluster und definieren dann ihre Workflows mithilfe von YAML-Manifesten.

  1. Argo Workflows installieren: Stellen Sie den Argo Workflows Controller und die zugehörigen Komponenten mithilfe von kubectl oder Helm auf einem Kubernetes-Cluster bereit.
  2. Einen Workflow definieren: Erstellen Sie eine YAML-Datei, die den Workflow spezifiziert, einschließlich seiner Schritte, Container, Eingaben, Ausgaben und Abhängigkeiten (z.B. ein DAG).
  3. Den Workflow übermitteln: Wenden Sie das YAML-Manifest mit kubectl apply -f your-workflow.yaml auf den Kubernetes-Cluster an.
  4. Workflow-Ausführung überwachen: Verwenden Sie die Argo Workflows UI oder argo CLI, um den Status, die Protokolle und die Artefakte laufender Workflows zu überwachen.
  5. Artefakte verwalten: Konfigurieren Sie Artefakt-Repositories (z.B. S3, GCS), um von Workflow-Schritten generierte Daten zu speichern und abzurufen.
  6. Vorlagen nutzen: Erstellen und verwenden Sie Workflow-Vorlagen für gängige Aufgaben, um die Workflow-Definition und -Wartung zu optimieren.

Argo Workflows Preise & Pläne

Argo Workflows ist ein Open-Source-Projekt und kostenlos verfügbar. Es fallen keine direkten Kosten für die Nutzung der Kern-Argo Workflows-Engine an, obwohl Benutzer Kosten für die zugrunde liegende Kubernetes-Infrastruktur (z.B. Cloud-Provider-Gebühren für Compute, Speicher und Netzwerk) tragen, auf der Argo Workflows bereitgestellt wird.

  • Open Source: Kostenlos

Vorteile

  • Kubernetes-native design, running all pipeline steps on existing Kubernetes cluster resources, ensuring scalability and cloud-agnosticism.
  • Declarative workflow configuration using YAML, simplifying definition and management of complex automation.
  • Supports both sequential tasks and Directed Acyclic Graphs (DAGs) for managing task dependencies.
  • Robust features including artifact management, parallel execution, and a full-featured UI for visualization and monitoring.
  • Open-source project with a healthy and active community, evidenced by over 16,200 GitHub stars and 75% production usage by 2025.
  • Potential for cost optimization; one user reported a 40% reduction in Kubernetes bills by consolidating CronJobs into Argo Workflows.

Nachteile

  • Integration with Git platforms can present challenges for some users.
  • Requires familiarity with Kubernetes concepts and YAML for effective workflow definition and management.
  • While open-source, operational overhead for deployment, maintenance, and scaling rests entirely on the user's team.
  • The learning curve for complex workflow patterns and advanced features may be steep for new users.

Argo Workflows vs. Konkurrenten

Argo Workflows agiert in einem Wettbewerbsumfeld von Workflow-Orchestrierungstools, die jeweils unterschiedliche Spezialisierungen und architektonische Ansätze aufweisen.

Argo Workflows

Kostenlos · Kubernetes · API

Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.

eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte