Skip to content

Argo Workflows

Argo Workflows é um motor de fluxo de trabalho de código aberto, nativo do Kubernetes, para orquestrar trabalhos paralelos, definindo fluxos de trabalho como YAML para pipelines de dados de uso geral, CI/CD e tarefas de machine learning.

Grátis · Kubernetes · API

stork0:00 / 0:04
Beatriz, uma de 89 vozes. Aperte o play.
Uma locução custa $0.05 o minuto.
Digite até 20 000 caracteres e receba um MP3. 89 vozes, 38 idiomas. Três grátis por dia, de um minuto cada.
Criar uma locução

O que é Argo Workflows?

Argo Workflows é uma ferramenta de motor de fluxo de trabalho desenvolvida pelo Argo Project que permite a desenvolvedores, engenheiros de DevOps, engenheiros de ML, engenheiros de dados e engenheiros de plataforma orquestrar trabalhos paralelos no Kubernetes. Ele define fluxos de trabalho como YAML, tornando-o adequado para pipelines de dados de uso geral, CI/CD e tarefas de machine learning dentro de um ambiente Kubernetes.

Implementado como uma Kubernetes Custom Resource Definition (CRD), cada etapa em um fluxo de trabalho é executada como um contêiner. O motor suporta fluxos de trabalho baseados em Directed Acyclic Graph (DAG) e em etapas, permitindo que os usuários modelem fluxos de trabalho multi-etapas como uma sequência de tarefas ou capturem dependências entre tarefas usando um grafo. Essa abordagem nativa do Kubernetes garante que seja leve, escalável e agnóstica à nuvem, rodando em qualquer cluster Kubernetes. Como um projeto graduado da Cloud Native Computing Foundation (CNCF), Argo Workflows significa sua maturidade e ampla adoção.

Principais Recursos do Argo Workflows

Argo Workflows oferece um conjunto abrangente de recursos para orquestrar fluxos de trabalho nativos de contêineres no Kubernetes, aproveitando sua sintaxe YAML declarativa e implementação CRD para operações robustas e escaláveis.

  • Motor de fluxo de trabalho nativo do Kubernetes, implementado como uma Custom Resource Definition (CRD).
  • Orquestra trabalhos paralelos, com cada etapa executada como um contêiner.
  • Define fluxos de trabalho usando YAML, suportando fluxos de trabalho baseados em Directed Acyclic Graph (DAG) e em etapas.
  • Permite modelar fluxos de trabalho multi-etapas como uma sequência de tarefas ou capturar dependências entre tarefas.
  • Suporta gerenciamento de artefatos para S3, GCS, HTTP e outras soluções de armazenamento.
  • Fornece modelagem de fluxo de trabalho para reutilização e agendamento cron para execução automatizada.
  • Inclui uma UI para visualização e gerenciamento de fluxos de trabalho.
  • Oferece mecanismos de tolerância a falhas para execução resiliente de fluxos de trabalho.
  • Suporta requisições e limites de recursos em nível de pod via campo podResources (introduzido na versão 4.1.0).
  • Apresenta um modo initlessPod opcional para eliminar o contêiner init argoexec (introduzido na versão 4.1.0).

Quem Deve Usar Argo Workflows?

Argo Workflows é projetado para profissionais técnicos que exigem orquestração robusta, escalável e nativa do Kubernetes para vários cenários de execução de trabalhos paralelos.

  • Desenvolvedores: Para automatizar processos de construção, teste e implantação em ambientes Kubernetes, executando pipelines CI/CD nativamente.
  • Engenheiros de DevOps: Para automação de infraestrutura, orquestrando implantações de aplicações complexas e distribuídas, e gerenciando trabalhos em lote como backups.
  • Engenheiros de ML: Para executar trabalhos computacionalmente intensivos para treinamento de modelos, experimentação e construção de plataformas MLOps.
  • Engenheiros de Dados: Para orquestrar pipelines complexos de processamento de dados, incluindo processos ETL (Extract, Transform, Load) e análise de dados em larga escala.
  • Engenheiros de Plataforma: Para construir e gerenciar plataformas internas que exigem um motor de fluxo de trabalho flexível e escalável no Kubernetes.

Como Usar Argo Workflows

Para começar a usar Argo Workflows, os usuários geralmente instalam o controlador Argo Workflows em um cluster Kubernetes existente e, em seguida, definem seus fluxos de trabalho usando manifestos YAML.

  1. Instalar Argo Workflows: Implemente o controlador Argo Workflows e componentes associados em um cluster Kubernetes usando kubectl ou Helm.
  2. Definir um Fluxo de Trabalho: Crie um arquivo YAML que especifique o fluxo de trabalho, incluindo suas etapas, contêineres, entradas, saídas e dependências (por exemplo, um DAG).
  3. Enviar o Fluxo de Trabalho: Aplique o manifesto YAML ao cluster Kubernetes usando kubectl apply -f seu-fluxo-de-trabalho.yaml.
  4. Monitorar a Execução do Fluxo de Trabalho: Use a UI do Argo Workflows ou o argo CLI para monitorar o status, logs e artefatos dos fluxos de trabalho em execução.
  5. Gerenciar Artefatos: Configure repositórios de artefatos (por exemplo, S3, GCS) para armazenar e recuperar dados gerados pelas etapas do fluxo de trabalho.
  6. Utilizar Modelos: Crie e reutilize modelos de fluxo de trabalho para tarefas comuns para otimizar a definição e manutenção do fluxo de trabalho.

Preços e Planos do Argo Workflows

Argo Workflows é um projeto de código aberto e está disponível gratuitamente. Não há custos diretos associados ao uso do motor principal do Argo Workflows, embora os usuários incorram em custos pela infraestrutura Kubernetes subjacente (por exemplo, taxas de provedor de nuvem para computação, armazenamento e rede) onde o Argo Workflows é implantado.

  • Código Aberto: Gratuito

Prós

  • Kubernetes-native design, running all pipeline steps on existing Kubernetes cluster resources, ensuring scalability and cloud-agnosticism.
  • Declarative workflow configuration using YAML, simplifying definition and management of complex automation.
  • Supports both sequential tasks and Directed Acyclic Graphs (DAGs) for managing task dependencies.
  • Robust features including artifact management, parallel execution, and a full-featured UI for visualization and monitoring.
  • Open-source project with a healthy and active community, evidenced by over 16,200 GitHub stars and 75% production usage by 2025.
  • Potential for cost optimization; one user reported a 40% reduction in Kubernetes bills by consolidating CronJobs into Argo Workflows.

Contras

  • Integration with Git platforms can present challenges for some users.
  • Requires familiarity with Kubernetes concepts and YAML for effective workflow definition and management.
  • While open-source, operational overhead for deployment, maintenance, and scaling rests entirely on the user's team.
  • The learning curve for complex workflow patterns and advanced features may be steep for new users.

Argo Workflows vs Concorrentes

Argo Workflows opera em um cenário competitivo de ferramentas de orquestração de fluxo de trabalho, cada uma com especializações e abordagens arquitetônicas distintas.

Argo Workflows

Grátis · Kubernetes · API

Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.

um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros