La herramienta YAML que está acabando con Apache Airflow

Los flujos de trabajo de datos modernos exigen intrincadas cadenas de tareas: extracción, limpieza, carga y llamadas a API. Confiar en programadores básicos como cron para estas secuencias críticas es una receta para el desastre. Un solo fallo en un paso significa que no hay reintentos, no hay registros y no hay un camino claro para entender qué falló, dejando todo tu pipeline descarrilado.

Durante años, Apache Airflow reinó como el rey de la orquestación, diseñado para dominar esta complejidad. Sin embargo, su diseño fundamental presenta un obstáculo significativo. Cada pipeline en Apache Airflow es un programa de Python, lo que hace que los flujos de trabajo sean pesados de ejecutar, engorrosos de mantener y una barrera sustancial para cualquier miembro del equipo que no sea competente en el desarrollo de Python.

Ahora, Kestra, la herramienta que intenta acabar con Apache Airflow, ha surgido, habiendo recaudado recientemente 25 millones de dólares con su promesa. Su premisa es engañosamente simple, desafiando la noción misma de definición de pipelines. Kestra postula que los flujos de trabajo no deberían ser programas en absoluto; en cambio, dejas de escribir tus pipelines de datos en Python y empiezas a escribirlos en YAML, creando archivos de configuración simples y legibles.

Los flujos de trabajo en Kestra se definen como 'flows', simples archivos YAML declarativos que separan la lógica de orquestación de la lógica de negocio. Este enfoque declarativo significa que dejas de escribir pipelines de datos complejos en Python y, en su lugar, especificas una lista de tareas y un disparador dentro de un archivo de configuración. Esta elección de diseño central simplifica la creación de pipelines y los hace legibles para usuarios no-Python, una desviación significativa del modelo centrado en Python de Apache Airflow.

Este cambio permite una ventaja crítica: el agnosticismo del lenguaje. Un solo 'flow' puede ejecutar sin problemas diversas tareas, eliminando la necesidad de operadores específicos de lenguaje. Un 'flow' podría ejecutar scripts de Python, luego aplicaciones de Node.js, seguidas de comandos de Bash, y concluir con consultas SQL o incluso iniciar un contenedor, todo dentro de la misma secuencia. A Kestra realmente no le importa en qué está escrito cada paso.

La plataforma de Kestra cuenta con una interfaz de usuario notablemente limpia, donde el editor visual y el código YAML subyacente permanecen constantemente sincronizados. Esta integración permite la monitorización de la ejecución en vivo, con diagramas que se iluminan a medida que se ejecutan las tareas. Los usuarios también obtienen acceso inmediato a vistas de línea de tiempo para el análisis de rendimiento y acceso con un solo clic a registros detallados para cualquier paso, proporcionando una visibilidad completa sin escribir una sola línea de código de orquestación.

Los pipelines YAML de Kestra ofrecen un marcado contraste con los programas Python de Apache Airflow. Su naturaleza declarativa significa configuraciones legibles que cualquiera puede revisar y aprobar solicitudes de extracción (pull requests), simplificando la colaboración. Los revisores también informan que el motor de Kestra maneja el trabajo paralelo con mayor eficiencia que la programación de Apache Airflow, reduciendo los cuellos de botella en flujos de datos complejos.

Yendo más allá de los orquestadores tradicionales, Kestra se labra un nicho distintivo frente a plataformas SaaS como Zapier o Make. Se posiciona como developer-first y autoalojado, otorgándote control total sobre tu infraestructura. Esto elimina los modelos de facturación impredecibles por tarea comunes en las soluciones SaaS, proporcionando previsibilidad de costos y autonomía para operaciones de nivel empresarial.

La adopción de Kestra en el mercado muestra un impulso significativo. La compañía afirma que ejecutó 2 mil millones de flujos de trabajo en 2025, un aumento de veinte veces con respecto al año anterior. Este rápido crecimiento se ve respaldado por una sólida base de clientes, que incluye gigantes de la industria como: - Apple - JPMorgan - Toyota - Bloomberg Una reciente ronda de financiación de $25 millones solidifica aún más la confianza de los inversores en este enfoque declarativo y 'config-first' para la orquestación. Si bien estas cifras de crecimiento son reportadas por la compañía, señalan un fuerte cambio hacia la metodología de Kestra.

Kestra presenta consideraciones específicas para su adopción. Como aplicación Java, exige recursos sustanciales del sistema, requiriendo típicamente alrededor de 4GB de RAM y múltiples núcleos de CPU. Esta asignación es necesaria solo para ejecutar el servidor sin problemas, lo que puede ser un factor significativo para entornos con recursos limitados o desarrollo local.

Si bien YAML sobresale en la definición de flujos de trabajo claros y lineales, su estructura declarativa se vuelve engorrosa para la lógica de ramificación dinámica compleja. En escenarios que exigen rutas condicionales intrincadas o adaptaciones en tiempo de ejecución, las herramientas nativas de Python como Apache Airflow aún mantienen una clara ventaja, ofreciendo la flexibilidad del control programático. Evalúa la complejidad de tu flujo de trabajo antes de comprometerte.

Kestra también opera bajo un modelo open-core, lo que afecta su preparación para empresas. Las características cruciales residen detrás de un muro de pago: - Single Sign-On (SSO) - Role-Based Access Control (RBAC) - Registros de auditoría La versión gratuita restringe el acceso a un único inicio de sesión compartido, lo que representa un obstáculo significativo para los equipos que requieren una gestión de usuarios granular o cumplimiento sin una suscripción empresarial.

Entonces, ¿es Kestra para ti? Si tu objetivo principal es una orquestación legible y basada en configuración para pipelines sencillos, y puedes acomodar su huella de recursos, esta Tool Trying to Kill Apache Airflow es un fuerte contendiente. Sin embargo, si tus flujos de trabajo exigen un control programático extenso, decisiones dinámicas o características de autenticación y autorización de nivel empresarial sin un nivel de pago, You should Stay with Python-centric solutions.

¿Qué es Kestra?

Kestra es una plataforma de orquestación de código abierto que utiliza archivos de configuración YAML para definir y gestionar flujos de trabajo complejos, posicionándose como una alternativa moderna e independiente del lenguaje a herramientas como Apache Airflow.

¿En qué se diferencia Kestra de Apache Airflow?

La principal diferencia es el enfoque de 'configuración como código' de Kestra utilizando YAML, mientras que Airflow requiere que los pipelines se escriban como programas Python. Kestra también es independiente del lenguaje, permitiendo tareas en Python, Node, SQL y Bash dentro de un único flujo de trabajo, mientras que Airflow está fuertemente centrado en Python.

¿Cuáles son los principales inconvenientes de Kestra?

Los inconvenientes de Kestra incluyen ser una aplicación Java que consume muchos recursos, las limitaciones de YAML para la lógica de ramificación dinámica compleja en comparación con Python, y un modelo open-core que sitúa características como SSO y RBAC detrás de un muro de pago.

¿Es Kestra de uso gratuito?

Sí, Kestra tiene una versión gratuita y de código abierto con un motor con todas las funciones. Sin embargo, las características empresariales como el inicio de sesión único (SSO), el control de acceso basado en roles (RBAC) y los registros de auditoría forman parte de un nivel de pago.