Skip to content

Argo Workflows

Argo Workflowsは、並列ジョブのオーケストレーション、汎用データパイプライン、CI/CD、機械学習タスクのためのYAMLとしてワークフローを定義するための、オープンソースのKubernetesネイティブワークフローエンジンです。

無料 · Kubernetes · API

stork0:00 / 0:06
Yui、89種類の声のひとつ。再生してみてください。
ナレーションは1分$0.05。
台本を入力するとMP3が届きます。89の声、38言語。1日3本まで無料(各1分まで)。
ナレーションを作る

Argo Workflowsとは?

Argo Workflowsは、Argo Projectによって開発されたワークフローエンジンツールで、開発者、DevOpsエンジニア、MLエンジニア、データエンジニア、プラットフォームエンジニアがKubernetes上で並列ジョブをオーケストレーションできるようにします。ワークフローをYAMLとして定義するため、Kubernetes環境内での汎用データパイプライン、CI/CD、機械学習タスクに適しています。

Kubernetes Custom Resource Definition (CRD) として実装されており、ワークフローの各ステップはコンテナとして実行されます。このエンジンは、有向非巡回グラフ (DAG) とステップベースのワークフローの両方をサポートしており、ユーザーはマルチステップワークフローをタスクのシーケンスとしてモデル化したり、グラフを使用してタスク間の依存関係をキャプチャしたりできます。このKubernetesネイティブなアプローチにより、軽量でスケーラブル、かつクラウドに依存せず、あらゆるKubernetesクラスターで実行できます。Cloud Native Computing Foundation (CNCF) の卒業プロジェクトとして、Argo Workflowsはその成熟度と広範な採用を示しています。

Argo Workflowsの主な機能

Argo Workflowsは、Kubernetes上でコンテナネイティブなワークフローをオーケストレーションするための包括的な機能セットを提供し、その宣言的なYAML構文とCRD実装を活用して堅牢でスケーラブルな操作を実現します。

  • Custom Resource Definition (CRD) として実装されたKubernetesネイティブワークフローエンジン。
  • 並列ジョブをオーケストレーションし、各ステップはコンテナとして実行されます。
  • YAMLを使用してワークフローを定義し、有向非巡回グラフ (DAG) とステップベースのワークフローの両方をサポートします。
  • マルチステップワークフローをタスクのシーケンスとしてモデル化したり、タスク間の依存関係をキャプチャしたりできます。
  • S3、GCS、HTTP、その他のストレージソリューションのアーティファクト管理をサポートします。
  • 再利用のためのワークフローテンプレートと、自動実行のためのcronスケジューリングを提供します。
  • ワークフローの視覚化と管理のためのUIが含まれています。
  • 回復力のあるワークフロー実行のためのフォールトトレランスメカニズムを提供します。
  • podResourcesフィールドを介したPodレベルのリソース要求と制限をサポートします (4.1.0で導入)。
  • argoexec initコンテナを排除するためのオプトインinitlessPodモードを特徴としています (4.1.0で導入)。

Argo Workflowsを使用すべきユーザー

Argo Workflowsは、さまざまな並列ジョブ実行シナリオに対して、堅牢でスケーラブルなKubernetesネイティブオーケストレーションを必要とする技術専門家向けに設計されています。

  • 開発者: Kubernetes環境内でのビルド、テスト、デプロイプロセスを自動化し、CI/CDパイプラインをネイティブに実行するため。
  • DevOpsエンジニア: インフラストラクチャの自動化、複雑な分散アプリケーションのデプロイのオーケストレーション、バックアップなどのバッチジョブの管理のため。
  • MLエンジニア: モデルトレーニング、実験、MLOpsプラットフォームの構築のための計算集約型ジョブを実行するため。
  • データエンジニア: ETL (Extract, Transform, Load) プロセスや大規模データ分析を含む、複雑なデータ処理パイプラインをオーケストレーションするため。
  • プラットフォームエンジニア: Kubernetes上で柔軟でスケーラブルなワークフローエンジンを必要とする内部プラットフォームを構築および管理するため。

Argo Workflowsの使用方法

Argo Workflowsの使用を開始するには、通常、既存のKubernetesクラスターにArgo Workflowsコントローラーをインストールし、YAMLマニフェストを使用してワークフローを定義します。

  1. Argo Workflowsのインストール: kubectlまたはHelmを使用して、Argo Workflowsコントローラーと関連コンポーネントをKubernetesクラスターにデプロイします。
  2. ワークフローの定義: ステップ、コンテナ、入力、出力、依存関係 (例: DAG) を含むワークフローを指定するYAMLファイルを作成します。
  3. ワークフローの送信: kubectl apply -f your-workflow.yamlを使用して、YAMLマニフェストをKubernetesクラスターに適用します。
  4. ワークフロー実行の監視: Argo Workflows UIまたはargo CLIを使用して、実行中のワークフローのステータス、ログ、およびアーティファクトを監視します。
  5. アーティファクトの管理: ワークフローステップによって生成されたデータを保存および取得するために、アーティファクトリポジトリ (例: S3、GCS) を構成します。
  6. テンプレートの利用: ワークフローの定義とメンテナンスを効率化するために、一般的なタスクのワークフローテンプレートを作成して再利用します。

Argo Workflowsの価格とプラン

Argo Workflowsはオープンソースプロジェクトであり、無料で利用できます。コアのArgo Workflowsエンジンを使用することに関連する直接的な費用はありませんが、Argo Workflowsがデプロイされる基盤となるKubernetesインフラストラクチャ (例: コンピューティング、ストレージ、ネットワークのクラウドプロバイダー料金) の費用はユーザーが負担します。

  • オープンソース: 無料

長所

  • Kubernetes-native design, running all pipeline steps on existing Kubernetes cluster resources, ensuring scalability and cloud-agnosticism.
  • Declarative workflow configuration using YAML, simplifying definition and management of complex automation.
  • Supports both sequential tasks and Directed Acyclic Graphs (DAGs) for managing task dependencies.
  • Robust features including artifact management, parallel execution, and a full-featured UI for visualization and monitoring.
  • Open-source project with a healthy and active community, evidenced by over 16,200 GitHub stars and 75% production usage by 2025.
  • Potential for cost optimization; one user reported a 40% reduction in Kubernetes bills by consolidating CronJobs into Argo Workflows.

短所

  • Integration with Git platforms can present challenges for some users.
  • Requires familiarity with Kubernetes concepts and YAML for effective workflow definition and management.
  • While open-source, operational overhead for deployment, maintenance, and scaling rests entirely on the user's team.
  • The learning curve for complex workflow patterns and advanced features may be steep for new users.

Argo Workflowsと競合製品の比較

Argo Workflowsは、それぞれ異なる専門分野とアーキテクチャアプローチを持つワークフローオーケストレーションツールの競争環境の中で運用されています。

Argo Workflows

無料 · Kubernetes · API

この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。

1日1通 · 2クリックで解除 · サードパーティのトラッキングなし