admin 管理员组

文章数量: 887021

airflow 是啥?

官方网站:         https://airflow.apache/_api/index.html

Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 来编写的平台上运行。Airflow是通过DAG(Directed acyclic graph)来管理任务流程的任务调度工具,她不需要知道业务数据的具体内容,设置任务的依赖关系实现任务调度。

这个平台拥有和 Hive、Presto、MySQL、HDFS、Postgres 和 S3 交互的能力,并且提供了钩子(hook)使得系统拥有很好地扩展性。除了一个命令行界面,该工具还提供了一个基于 Web 的用户界面让您可以可视化管道的依赖关系、监控进度、触发任务等。
链接:https://www.jianshu/p/cd12b4864471

通常的安装都在除Win系统上安装: 

安装: 

(1)  cmd

(2) pip  install  apache-airflow

问题&#

本文标签: 系统安装 模块 Windows AirFlow