Diferencia entre revisiones de «Apache Airflow»
Creado al traducir la página «Apache Airflow» |
(Sin diferencias)
|
Revisión del 22:55 3 jun 2020
Apache Airflow es una plataforma de gestión de flujo de trabajo de código abierto escrita en Python, donde los flujos de trabajo se crean a través de scripts de Python. Fue creada por Airbnb en octubre 2014 como solución para la gestión de flujos de trabajo dentro de la empresa.[1] Al crear Airflow, Airbnb logró manejar más fácilmente sus flujos de trabajo y controlarlos gracias a la interfaz de usuario incluida en Airflow. [2][3] Desde el principio, el proyecto fue distribuido como código abierto, se convirtió en un proyecto de Incubadora de apache en marzo de 2016 y un projecto de software de nivel superior de la Fundación Apache en enero 2019.
| Apache Airflow | ||
|---|---|---|
 | ||
| Información general | ||
| Tipo de programa | software libre | |
| Autor | Maxime Beauchemin | |
| Desarrollador | Apache Airflow | |
| Licencia | Apache License 2.0 | |
| Información técnica | ||
| Programado en | Python | |
| Versiones | ||
| Última versión estable | 1.10.10 ( 2020 de abril del 09) | |
| Enlaces | ||
Airflow está escrito en Python, y los workflows son creados vía scripts en Python. Airflow Está diseñado bajo el principio de "configuración como código". Si bien hay otras plataformas de flujos de trabajo que también trabajan bajo el principio "configuración como código", la mayoría utiliza XML. Al utilizarse Python en Airflow, los desarrolladores pueden importar bibliotecas y clases para ayudarles crear sus flujos de trabajo.
Visión general
Airflow utiliza gráficos acíclicos dirigidos (DAG) para gestionar la orquestación del flujo de trabajo. Las tareas y dependencias se definen en Python y luego Airflow gestiona la programación de tareas y la ejecución. Los DAG se pueden ejecutar en un horario definido (por ejemplo, cada hora o cada día) o en función de la ocurrencia de eventos externos (por ejemplo, un archivo que aparece en Hive[4]). Los programadores anteriores basados en DAG como Oozie y Azkaban tendían a depender de múltiples archivos de configuración y árboles del sistema de archivos para crear un DAG, mientras que en Airflow, los DAG a menudo se pueden escribir en un solo archivo Python.[5]
Proveedores gestionados
Dos proveedores notables ofrecen servicios auxiliares en torno al proyecto central de código abierto. Astronomer ha creado una herramienta SaaS y una pila de Airflow desplegable bajo Kubernetes que ayuda con la supervisión, alertas, devops y gestión de clústeres.[6] Cloud Composer es una versión administrada de Airflow que se ejecuta en Google Cloud Platform (GCP) y se integra bien con otros servicios de GCP.[7]
Referencias
- ↑ «Apache Airflow». Apache Airflow. Archivado desde el original el August 12, 2019. Consultado el September 30, 2019.
- ↑ Beauchemin, Maxime (June 2, 2015). «Airflow: a workflow management platform». Medium. Archivado desde el original el August 13, 2019. Consultado el September 30, 2019.
- ↑ «Airflow». Archivado desde el original el July 6, 2019. Consultado el September 30, 2019.
- ↑ Trencseni, Marton (January 16, 2016). «Airflow review». BytePawn. Archivado desde el original el February 28, 2019. Consultado el October 1, 2019.
- ↑ «AirflowProposal». Apache Software Foundation. March 28, 2019. Consultado el October 1, 2019.
- ↑ Lipp, Cassie (July 13, 2018). «Astronomer is Now the Apache Airflow Company». americaninno. Consultado el September 18, 2019.
- ↑ «Google launches Cloud Composer, a new workflow automation tool for developers». TechCrunch (en inglés estadounidense). Consultado el 18 de septiembre de 2019.