Hispanopedia Wiki
Articulo de referencia

Apache Airflow

Apache Airflow es una plataforma de gestión de flujos de trabajo de código abierto para pipelines de ingeniería de datos. Se originó en Airbnb en octubre de 2014 [ 2 ] como una ...

Hispanopedia WikiContenido en espanolLectura gratuita

Apache Airflow es una plataforma de gestión de flujos de trabajo de código abierto para pipelines de ingeniería de datos. Se originó en Airbnb en octubre de 2014 [ 2 ] como una solución para gestionar los flujos de trabajo cada vez más complejos de la empresa. La creación de Airflow permitió a Airbnb crear y programar sus flujos de trabajo mediante programación y monitorizarlos a través de la interfaz de usuario integrada de Airflow . [ 3 ] [ 4 ] Desde sus inicios, el proyecto fue de código abierto, convirtiéndose en un proyecto de Apache Incubator en marzo de 2016 y en un proyecto de primer nivel de la Apache Software Foundation en enero de 2019.

Airflow está escrito en Python , y los flujos de trabajo se crean mediante scripts de Python. Airflow se basa en el principio de "configuración como código". Si bien existen otras plataformas de flujo de trabajo con "configuración como código" que utilizan lenguajes de marcado como XML , el uso de Python permite a los desarrolladores importar bibliotecas y clases para facilitar la creación de sus flujos de trabajo.

Según VentureBeat , en 2025 Airflow era la herramienta de facto para la ingeniería de datos y había sido adoptada por empresas de Fortune 500. [ 5 ]

Descripción general

Airflow utiliza grafos acíclicos dirigidos (DAG) para gestionar la orquestación de flujos de trabajo . Las tareas y dependencias se definen en Python y, posteriormente, Airflow gestiona la programación y ejecución. Los DAG pueden ejecutarse según una programación definida (por ejemplo, cada hora o diariamente) o en función de desencadenadores de eventos externos (por ejemplo, la aparición de un archivo en Hive [ 6 ] ). Los programadores basados ​​en DAG anteriores, como Oozie y Azkaban, solían depender de múltiples archivos de configuración y árboles del sistema de archivos para crear un DAG, mientras que en Airflow, los DAG a menudo pueden escribirse en un único archivo de Python. [ 7 ]

Proveedores gestionados

Los tres principales proveedores de servicios en la nube a gran escala ofrecen servicios auxiliares en torno al proyecto central de código abierto:

  • Apache Airflow Job es una versión gestionada por SaaS de Apache Airflow, una herramienta de código abierto de Microsoft Azure que se integra con Microsoft Fabric para la orquestación de elementos de Fabric.
  • Cloud Composer es una versión administrada de Airflow que se ejecuta en Google Cloud Platform (GCP) y se integra bien con otros servicios de GCP. [ 8 ]
  • Amazon Web Services ofrece flujos de trabajo administrados para Apache Airflow desde noviembre de 2020. [ 9 ]

Referencias

  1. ↑ "Notas de la versión" . Consultado el 7 de julio de 2026 .
  2. ↑ "Apache Airflow" . Apache Airflow . Archivado del original el 12 de agosto de 2019. Consultado el 30 de septiembre de 2019 .
  3. ↑ Beauchemin, Maxime (2 de junio de 2015). "Airflow: una plataforma de gestión de flujos de trabajo" . Medium . Archivado del original el 13 de agosto de 2019. Consultado el 30 de septiembre de 2019 .
  4. ↑ "Flujo de aire" . Archivado del original el 6 de julio de 2019. Consultado el 30 de septiembre de 2019 .
  5. ↑ Kerner, Sean Michael (22 de abril de 2025). "El procesamiento de datos por lotes es demasiado lento para la IA en tiempo real: cómo Apache Airflow 3.0 de código abierto resuelve el desafío con la orquestación de datos basada en eventos" . VentureBeat . Consultado el 4 de marzo de 2026 .
  6. ↑ Trencseni, Marton (16 de enero de 2016). "Revisión de Airflow" . BytePawn . Archivado del original el 28 de febrero de 2019. Consultado el 1 de octubre de 2019 .
  7. ↑ "Propuesta de Airflow" . Fundación Apache Software . 28 de marzo de 2019. Archivado del original el 7 de abril de 2022. Consultado el 1 de octubre de 2019 .
  8. ↑ "Google lanza Cloud Composer, una nueva herramienta de automatización de flujos de trabajo para desarrolladores" . TechCrunch . Mayo de 2018. Consultado el 18 de septiembre de 2019 .
  9. ↑ "Presentación de los flujos de trabajo administrados de Amazon para Apache Airflow (MWAA)" . Amazon Web Services . 24 de noviembre de 2020. Consultado el 17 de diciembre de 2020 .

Lecturas adicionales

  • Harenslak, Bas; de Ruiter, Julian (2021). Data Pipelines with Apache Airflow . Manning Publications (publicado el 27 de abril de 2021). ISBN 9781617296901.
  • Sitio web oficialEdita esto en Wikidata