awesome apache airflow

令人敬畏的阿帕奇气流

这是有关 Apache Airflow 的精选资源列表。请随时贡献任何应包含的项目。项目通常添加在每个部分的顶部，以便更突出地显示更多新鲜项目。

内容

• 重要链接
• 气流部署解决方案
• 介绍和教程
• 2020 年气流峰会视频
• 最佳实践、经验教训和炫酷用例
• 书籍、博客、播客等
• 幻灯片演示和在线视频
• 库、挂钩、实用程序
• 聚会
• 商业气流即服务提供商
• Cloud Composer 资源
• 非英语资源

重要链接

• 源代码（最新稳定版本1.10.12）
• 文档（也是官方网站）
• 汇合页面
• 松弛工作空间

气流部署解决方案

• 在 IBM Cloud 上安装 Airflow - 使用 IBM Bitnami Charts 在 IBM Cloud 上快速轻松地部署
• 在 Kubernetes 上运行 Airflow 的三种方法 - Tim van de Keer 介绍了在 Kubernetes 上部署 Airflow 的几种方法。
• Azure 上的 Apache Airflow 多层免费部署 - Bitnami 提供的免费 Azure 资源管理器 (ARM) 模板，为生产用例在 Azure 上部署 Airflow 提供一键式解决方案。
• KubernetesExecutor Helm Chart - 使用 KubernetesExecutor 的精益 Helm Chart 提供更多 k8s 本机体验和补充 KubernetesExecutor Docker 映像.
• Stable Celery Helm Chart - 官方稳定图表存储库中精选的 Helm Chart.
• Puckel 的 Docker 镜像 - @Puckel_ 精心制作的 Docker 镜像已成为许多 Airflow 安装的基础。它定期更新并密切跟踪官方 Apache 版本。
• Kubernetes Custom Operator for Deploying Airflow - 用于在 Kubernetes 上部署 Airflow 的 Kubernetes 自定义控制器（也称为操作员模式）.
• airflow-pipeline - 为 Spark 和 Hadoop 预先配置的 Airflow Docker 容器。可以通过datagovsg/airflow-pipeline进行 docker 拉取。
• aws-airflow-stack - 使用 CeleryExecutor 的基于 AWS 的 Airflow 集群部署。使用 CloudFormation 单击几下即可进行部署。
• kube-airflow - 该存储库包含 Airflow Docker 映像（似乎基于 Puckel 的工作）和 Kubernetes 服务定义。 mumoshu 的存储库最近尚未更新，但有许多分支可能基于更新的版本。
• airflow-on-kubernetes - 与在 Kubernetes 上运行 Airflow 相关的所有相关资源、脚本和项目的指南。
• airflow-k8s-executor-on-GKE - 使用 Helm 在 Google Kubernetes Engine 上部署可扩展、低维护的 Airflow kubernetes 执行器环境的详细教程。
• airflow-cookbook - 用于部署 Airflow 的 Chef 食谱。
• 在 Apache Mesos 之上运行 Airflow - 描述如何配置 Mesos 来运行所有 Airflow 组件的博客。
• 将 Apache Airflow 与 Apache Ambari 集成 - Mykola Mykhalov 逐步介绍如何使用 Apache Ambari 配置和部署 Airflow 实例。
• 天文学家平台 - Kubernetes 上的 Apache Airflow 即服务。欲了解更多信息，请访问 https://www.astronomer.io。
• Bitnami Airflow Docker 镜像 - 由 Bitnami 维护的 Airflow 的安全且最新的 Docker 镜像。
• Bitnami Airflow Scheduler Docker 镜像 - 由 Bitnami 维护的 Airflow Scheduler 的安全且最新的 Docker 镜像。
• Bitnami Airflow Worker Docker 镜像 - 由 Bitnami 维护的 Airflow Worker 的安全且最新的 Docker 镜像.此处提供了 CeleryExecutor docker-compose 部署。
• 通过 Python PEX 文件分发和部署 Apache Airflow - 示例存储库，其中包含将 Apache Airflow 捆绑、分发和部署为 PEX 文件的步骤。
• Introducing KEDA for Airflow - 如何使用 KEDA 缩放器系统根据 Airflow 元数据数据库中存储的数据自动缩放 celery 工作线程。
• Airflow-Component - 计算节点上联合 Airflow-Airflow (RabbitMQ) 参考架构的轻量级安装程序。

介绍和教程

• Apache Airflow 监控指标 - maxcotec 的两部分系列，介绍如何利用现有的 Airflow statsd 指标通过 Prometheus 监控 Grafana 仪表板上的气流部署。还了解如何创建自定义指标。
• Airflow 简介 - maxcotec 为 Apache Airflow 的初学者和中级用户提供的网络教程系列。
• 使用 Apache Airflow 进行 ETL，用于事务数据的数据分析。 Kimaru Thagana 介绍了一个使用 Apache Airflow 使用虚拟电子商务商店的交易、用户和产品数据执行 ETL 流程的实际案例。数据通过 Flask API 提供。
• Start Building Better Data Pipelines With apache Airflow 2020-Oct - Naman Gupta 介绍了 Airflow 及其概念的基础知识。
• Airflow 存储库模板 - 用于使用 Airflow 进行本地开发的样板存储库，并对有效 DAG 和插件进行检查和测试。只需克隆并运行make start-airflow即可开始！添加一些 CI 作业来部署您的代码，然后就完成了。
• Apache Airflow 如何在 Celery 工作线程上分配作业 - 分布式架构中任务实例从调度到成功所采取的步骤的简短描述。
• 远程 Spark 提交到 EMR 上运行的 YARN - Azhaguselvan 逐步介绍如何使用 Airflow 将 Spark 作业提交到现有 EMR 集群。
• Agraj Mangal 编写的《在 Apache Mesos 及其后续产品 Mesos、Airflow & Docker 之上运行 Airflow》是在 Apache Mesos 之上运行 Airflow 的快速概述。
• Quizlet 的 Dustin Stansbury 撰写了一个由四部分组成的系列文章，涵盖工作流程管理器的一般用途、Quizlet 如何选择 Airflow、Airflow 关键概念概览以及 Quizlet 现在如何在实践中使用 Airflow：
  • 超越 CRON：工作流管理系统简介
  • 为什么 Quizlet 选择 Apache Airflow 来执行数据工作流程
  • 了解 Apache Airflow 的关键概念
  • Quizlet 如何在实践中使用 Apache Airflow
• 将 Apache Airflow 与 Databricks 集成 - 虽然本教程专门关注 Databricks 的 Spark 解决方案，但它确实对 Airflow 基础知识进行了合理的概述，并演示了第三方解决方案如何快速集成到 Airflow 中。
• Apache Airflow 2.0 教程 - 本文讨论 Airflow 背后的基本概念并讨论它解决的问题。
• 测试和调试 Apache Airflow - 文章解释如何对 Airflow 代码应用单元测试、模拟和调试。
• 开始使用 Apache Airflow 开发工作流 - 这个简短的介绍性教程介绍了如何使用 DAG、运算符、传感器创建数据管道和处理工作流，以及如何使用 Xcoms 在运算符之间进行通信。
• Airflow + Google Cloud Platform + Docker 入门 - Jayce Jiang 的分步介绍。
• 如何通过 TDD（测试驱动开发）在 Airflow 中开发数据管道 - 了解如何使用 TDD 逐步构建销售数据管道，以及最终如何使用 Github Actions 配置简单的 CI 工作流程。

2020 年气流峰会视频

第一届 Airflow Summit 2020 于 2020 年 7 月举行。这是一次真正的全球性、完全在线的活动，由来自世界各地的 9 个 Airflow Meetups 共同主办（墨尔本、东京、班加罗尔、华沙、阿姆斯特丹、伦敦、纽约、湾区） ）。

它包括 40 多个演讲和三个研讨会。您可以在 YouTube Airflow Summit 2020 播放列表中查看演讲录音，或在此处查看个人演讲：

• 主题演讲：过去和现在的气流
• 调度程序即服务 - EA 数字平台的 Apache Airflow
• 主题演讲：大公司如何使用 Airflow 进行 ML 和 ETL 管道
• 具有血统的数据 DAG 是为了乐趣和盈利
• Kubernetes 上的 Airflow：容器化您的工作流程
• Airflow @ PayPal 的数据流
• 大规模民主化数据工作流程
• 将基于 Airflow 的 Spark 作业迁移到 Kubernetes - 以原生方式
• 主题演讲：气流的未来
• 以安全的方式运行 Airflow DAG
• 主题演讲：通过 D&I 让 Airflow 成为可持续项目
• Airflow CI/CD：Github 到 Cloud Composer（安全）
• 数据工程师的高级 Apache 超级集
• 演示：减少线条，可视化 DAG 编辑器
• AIP-31：气流功能 DAG 定义
• 使用 Airflow 进行自动驾驶
• 从 cron 到 Kubernetes 上的 Airflow：一个创业故事
• 实现气流可观测性
• 使用 Apache Airflow 进行机器学习
• Airflow：游戏世界中的野兽角色
• 有效的跨 DAG 依赖
• 开源教会了我们什么商业知识
• 数据工程需求层次
• 构建可重用且值得信赖的 ELT 管道（模板化方法）
• 测试 Airflow 工作流程 - 确保您的 DAG 在投入生产之前正常工作
• 向 Airflow 添加执行器：贡献者溢出异常
• 迁移到 Airflow 向后移植提供商
• 从零到 Airflow：引导 ML 平台
• Airflow 与我们的分析管道完美匹配
• 法国兴业银行的 Airflow：银行环境中的开源编排解决方案
• Airflow 作为 Pinterest 的下一代工作流程系统
• 改善 Airflow 的用户体验
• 教旧 DAG 新技巧
• 有什么问题可以向 Airflow 会员询问
• 使用 Airflow 加速数据密集型工具的开发
• 管道上的管道：适用于 Airflow DAG 的敏捷 CI/CD 工作流程
• Apache Airflow 的生产 Docker 镜像
• Airflow 作为弹性 ETL 工具
• 我们如何推断 Wrike 数据管道的可靠性
• 使用 Databand 实现气流可观测性
• 从 S3 到 BigQuery - Airflow 首次用户如何成功实施数据管道

最佳实践、经验教训和炫酷用例

• How to Best Use DuckDB with Apache Airflow - 将 DuckDB 集成到 Airflow 作业中的提示。
• Airflow Dag Python 包管理 - 管理 100 多个 dag 中的 python 包依赖项可能会变得很痛苦。很难跟踪哪个 dag 使用了哪些包，并且在 DAG 删除/升级期间很难清理。了解 KubernetesPodOperator 和 DockerOperator 如何解决此问题。
• Airflow Dag 管理和版本控制 - 使用 Git 子模块有效管理 DAG 发布过程
• Airflow 测试第 2 部分 - Chandu Kavar 和 Sarang Shinde 解释了集成测试和端到端管道测试。
• Robinhood 的升级和扩展 Airflow - Abishek Ray 描述了 Robinhood 如何升级其生产 Airflow，同时最大限度地减少停机时间。
• 我们都错误地使用了 Airflow 以及如何修复它 - Bluecore 的 Jessica Laughlin 分享了与 Airflow 设计相关的三个工程问题，以及如何通过在两种设计模式中使用 KubernetesPodOperator 来解决这些问题。
• 数据沿袭入门 - Dailymotion 的 Germain Tanguy 分享了一个集成到 Apache Airflow 的数据沿袭原型。
• 数据工程师、数据分析师和数据科学家之间的协作 - Dailymotion 的 Germain Tanguy 分享了如何通过与 Apache Airflow 协作在生产中高效发布。
• 将 Apache Airflow 的 Docker Operator 与 Amazon 的容器存储库结合使用 - Lucid 的 Brian Campbell 提供了将 AWS 的 ECR 服务与 Airflow 的 DockerOperator 集成的技巧。
• Airflow：鲜为人知的提示、技巧和最佳实践 - Kaxil Naik 解释了有关使用 Airflow 的鲜为人知但非常有用的提示和最佳实践。
• 边界层：声明性气流工作流程 - Kevin McHale 解释了开源项目边界层，它使用声明性工作流程生成气流 dag。
• Airflow 测试第 1 部分 - Chandu Kavar 解释了 Airflow 中不同类别的测试。它包括 DAG 验证测试、DAG 定义测试和单元测试。
• 提高 Airflow UI 安全性 - WePay 的 Joy Gau 详细介绍了基于角色的访问控制 (RBAC) 的需求以及她如何将其引入 Airflow。
• 如何在 Apache Airflow 中创建工作流程来跟踪印度的疾病爆发 - Vinayak Mehta 详细介绍了 SocialCops 如何使用 Airflow 抓取印度卫生和家庭事务部的信息，以生成有关可能的疾病爆发的派生数据。
• Airflow、元数据工程和世界上最大民主国家的数据平台 - Vinayak Mehta 谈论如何识别数据工程模式（元数据工程）以自动生成 DAG，以及如何帮助 SocialCops 为 DISHA 提供支持，DISHA 是一个国家数据平台，印度国会议员和工作重点负责监督 42 项国家级计划的进展情况。
• Airflow-ing 和 Airflow 第 2 部分中的经验教训：Nehil Jain 编写了一个由两部分组成的系列，涵盖工作流调度程序的价值、他在使用 Airflow 时发现的一些最佳实践和陷阱。第二篇文章特别包含了许多制作技巧。
• 为什么 Robinhood 使用 Airflow - Vineet Goel 阐述了为什么金融交易平台 Robinhood 选择 Airflow 而不是其他工作调度程序。
• 我们从 Cron 迁移到 Airflow 的经验 - Katie Macias 描述了 VideoAmp 的数据工程从 cron 到 Airflow 的旅程。
• 幕后花絮：在 Qubole 构建 AIR - Sreenath Kamath 和 Rajat Venkatesh 撰写了有关在 Airflow 上构建 Qubole 数据发现、见解和推荐平台的文章。
• 气流：为什么没有任何作用？ - TL;DR Airflow 的 SubDagOperator 导致死锁，作者：Jessica Laughlin - 深入探讨有问题的 Airflow DAG 的故障排除，并提供有关如何诊断问题的良好提示。
• Apache Airflow 作为分布式系统的外部调度程序 - Arunkumar 建议使用 Airflow 作为分布式系统的简单外部调度程序。
• Sift 如何使用 Apache Airflow 训练数千个模型 - Sift Science 机器学习模型管道的部署策略摘要。
• Pandora 的 Apache Airflow - Ace Haidrey 讨论了 Pandora 选择 Airflow 的原因，并详细介绍了其部署及其背后的基础设施。
• 来自芝加哥数据工程前沿的 Airflow Lessons - Alison Stanton 提供了一系列避免 Airflow 工作中出现问题的技巧。
• 数据地狱：Airflow 的 7 个数据测试地狱 - ING 的批发银行高级分析团队详细介绍了他们如何在部署之前对 Airflow DAG 进行严酷测试。
  • 使用 Airflow 存储库进行数据测试
• 数据质量检查器 - Antoine Augusti 描述了 drive 在 Airflow 上构建的框架，用于测试其数据集的完整性、一致性、及时性、唯一性、有效性和准确性。
• 使用 BigQuery 和 Airflow 构建 WePay 的数据仓库 - 不可估量的 Chris Riccomini 描述了 WePay（Airflow 的首批采用者之一）如何集成到他们的 Google 云计算环境中。
• 使用 Apache Airflow 在公共部门创建数据基础设施 - 尽管不幸的是，本文的销售基调非常沉重，但本文博客文章描述了非盈利数据组织 ARGO Labs 如何利用 Airflow 在公共部门数据中进行 ETLing。
• ETL with Airflow - ETL 核心原理和几个基于 docker 的端到端示例，包括 Kimball、Data Vault on Hive 和一些更简单的示例。
• 如何使用 Apache Airflow 聚合 BigQuery 数据 - 如何将 Airflow 与 Google BigQuery 结合使用来为 Data Studio 仪表板提供支持的示例。
• Productionizing ML with Works at Twitter - 深入介绍 Twitter 为何以及如何使用 Airflow 进行 ML 工作流程，包括包含自定义运算符和嵌入 Airflow Web 界面中的自定义 UI。
• 在 Lyft 上运行 Apache Airflow - 概述了 Lyft 如何在生产中运行 Apache Airflow（监控、定制等）。
• 在 Azure 中部署 Apache Airflow 以构建和运行数据管道 - 它讨论了在 Azure 上运行 Airflow。
• The Zen of Python and Apache Airflow - 关于如何将 Zen of Python 应用于 Airflow 代码的博客文章。
• 通过 DAG 级别访问保护 Apache Airflow UI - 有关 Airflow DAG 级别访问以及 Lyft 如何使用它的博客文章。
• 零停机升级 Airflow - 有关如何零停机部署 Airflow 的详细文章。
• 使用 Apache Airflow 构建生产级 ETL 管道平台 - 这篇文章介绍了 Cerner 的系统管理团队如何使用 Airflow。
• Bare Minimal Airflow on Kubernetes (Local, EKS, AKS) - 一篇有关通过最少的设置在本地 Kubernetes、AWS EKS 和 Azure AKS 上部署 Airflow 的文章。
• 分解 Airflow DAG monorepo - 这篇文章介绍了如何支持通过 S3 从多个 git 存储库管理 Airflow DAG。
• Improving Performance of Apache Airflow Scheduler - 一个让 Databand 将 DAG 解析时间加快 10 倍的冒险故事
• SSENSE 如何使用 Apache Airflow 在 AWS 上进行数据沿袭 - 探索使用 Apache Arflow 在 AWS 上构建和管理数据湖的基本主题。
• 使用 Prometheus、StatsD 和 Grafana 监控 Airflow - 有关如何通过 Databand 将操作仪表板设置到生产集群并获得 Airflow 的高级可见性的指南。
• 使用 Apache Airflow 在 Hurb 上编排复杂任务 - 这篇文章展示了 Hurb 如何使用 Apache Airflow 来编排复杂任务，以及如何利用 DAG 动态创建来提高开发速度。
• 使用 Apache Airflow 自动将数据从 CrateDB 导出到 S3 有关如何使用 Apache Airflow 在 CrateDB 中自动执行重复查询的教程，例如定期将数据导出到 Amazon S3。
• 使用 CrateDB 和 Apache Airflow 实施数据保留策略 有关如何使用 CrateDB 和 Apache Airflow 实施有效数据保留策略的分步教程。
• 将 NYC 出租车数据从 S3 提取到 CrateDB - 描述如何通过将 CSV 文件从 S3 加载到 CrateDB 中来在 Airflow 中构建数据库提取管道。

书籍、博客、播客等

• Data Pipelines with Apache Airflow - Manning 关于 Airflow 的书籍（2019 年 9 月抢先体验）。
• The Airflow Podcast - 一个半定期的播客，讨论所有关于 Airflow 的事情。
• Maxime Beauchemin - Maxime 在媒体上的博客，深入了解 Apache Airflow 背后的理念.
• Robert Chang - 有关使用 Apache Airflow 进行数据工程的博客文章，解释了原因并提供了代码示例。
• 使用 Kubernetes Executor 处理 Airflow 日志 - 这篇博文概述了如何在使用 KubernetesExecutor 时设置远程 S3 日志记录，而无需创建复杂的基础设施。
• Airflow 2.0：重新设计 DAG 创作 - 有关在 Airflow 2.0 中编写 DAG 的新方法的博客文章。
• Airflow 2.0 Providers - 有关 Airflow 2.0 中的提供程序包的博客文章。

幻灯片演示和在线视频

• 2020 年 2 月：Apache Airflow @ Umuzi.org - Sheena O'Connell 讨论了位于南非的技术训练营 Umuzi 如何使用 Airflow。
• Apache Airflow YouTube 教程 - Marc Lamberti 创建了一系列 YouTube 教程，涵盖 Airflow 概念、配置和部署的许多方面。
• Advanced Data Engineering Patterns with Apache Airflow - Maxime Beauchemin 的演讲视频，简要介绍了 Airflow，然后介绍了更高级的用例，包括自助 SQL 查询、构建 A/B 测试指标框架和通过 Airflow 进行机器学习特征提取。这些幻灯片可在此处单独获取。
• 使用 Apache Airflow 的现代数据管道 - Astronomer.io 的 Taylor Edmiston 和 Andy Cooper 在 Momentum Dev Con 2018 上发表的演讲，内容涉及 Airflow、自定义组件、示例 DAG 和 Astronomer Airflow CLI 入门。
• 使用 Apache Airflow 构建更好的数据管道 - 幻灯片来自 Sid Anand 在 QCon 18 上的演讲，全面概述了 Airflow 及其架构。
• Astronomer 的 Airflow 和 Spark Streaming - Astronomer 如何使用动态 DAG 通过 Airflow 运行 Spark Streaming 作业。
• 云中的 Apache Airflow：使用 Python 以编程方式编排工作负载 - 来自 Kaxil Naik 和 Satyasheel 在 PyData London 18 上的演讲的幻灯片，介绍了 Airflow 的基础知识以及如何在 Google Cloud Platform (GCP) 上编排工作负载。
• 使用 Apache Airflow 在 Python 代码中开发优雅的工作流程 - Europython 的 Michał Karzyński 简要介绍了 Airflow 概念，包括工作流程管理器、DAG 和操作员的角色。链接包括视频和幻灯片。
• 数据管道管理 - Ben Goldberg 在芝加哥 Kubernetes 聚会上介绍了 SpotHero 如何使用 Airflow。此外，Ben 还提供了一个非常完整的幻灯片，介绍了 Airflow 在 Kubernetes 中的运作方式。
• 我如何学会使用 Airflow 进行时间旅行或数据管道和调度 - Laura Lorenz 的综合甲板，介绍了为什么 Airflow 是必要的以及 Industry Dive 如何使用它。
• Apache Airflow 简介 - 2016 年西雅图数据日 - Sid Anand 全面介绍了 Airflow 以及它如何在 Agari 中使用。
• 使用 Airflow 操作数据管道 - Airflow 聚会 2018 年 4 月 - Ananth Packkildurai 谈论扩展 Airflow 本地执行器以及在 Slack 操作数据管道的最佳实践。
• WePay 的 Apache Airflow - Chris Riccomini 讨论了 WePay 选择 Airflow 的原因，并详细介绍了其部署及其背后的基础设施。
• 使用 Apache Airflow 实现优雅的数据管道 - Bolke de Bruin 和 Fokko Driesprong 在 2018 年 PyData 阿姆斯特丹会议上的演讲，内容涉及使用 Airflow 提供 ETL 清晰度的方法。
• Airflow @ Lyft - 冯涛在 SF 大数据分析聚会上谈论 Lyft 如何监控生产中运行的 Airflow。
• 使用 Airflow 和 Kubernetes 进行可管理的数据管道 - Jarek Potiuk 和 Szymon Przedwojski 的演讲。 GDG 华沙 DevFest 2018 关于 Airflow 的介绍性演讲。
• 将 Apache Oozie 工作流迁移到 Apache Airflow - Szymon Przedwojski 在 2018 年 6 月 Airflow 湾区聚会上关于 Oozie 到 Airflow 迁移工具的演讲。
• 使用 Apache Airflow 构建数据湖 - Bas Harenslak 和 Julian de Ruiter 在 2018 年 9 月阿姆斯特丹 Apache Airflow 聚会上发表的演讲，内容涉及使用 Apache Airflow 作为网络中管理所有数据流的蜘蛛来构建数据湖。
• First Warsaw Apache Airflow Meetup - 2019 年 10 月在华沙举行的第一届 Apache Airflow Meetup 的现场直播录制。
• Apache Airflow 2.0 即将推出的内容 - Ash Berlin-Taylor、Kaxil Naik、Jarek Potiuk、Kamil Breguła、Daniel Imbermann 和 Tomek Urbaszek 在 2020 年 5 月 13 日纽约在线聚会上的联合演讲
• Airflow Breeze - Apache Airflow 的开发和测试环境 - Jarek Potiuk 展示如何使用 Breeze 环境的截屏视频。

库、挂钩、实用程序

• Domino - Domino 是一个开源图形用户界面平台，用于通过无代码、直观的拖放操作创建数据和机器学习工作流程 (DAG)。它也是发布和共享 Python 代码的标准，因此任何人都可以直接在 GUI 中自动使用它。
• Airflow-Helper - 从 YAML 配置文件设置 Airflow 变量、连接和池。
• AirFly - 自动生成 Airflow 的 dag.py。
• DEAfrica Airflow - 数字地球非洲使用的气流库，这是一项利用非洲卫星图像的人道主义努力。
• Airflow 插件 - Airflow 各种插件存储库的集中集合，包括 mailchimp、trello、sftp、GitHub 等。
• fileflow - 通过本地文件系统或 S3 支持 Airflow 操作员之间的大量数据传输的模块集合。这解决了数据对于 XCOM 来说太大但对于直接加载到操作员中来说太小或不方便的差距。由Industry Dive 建造。
• fairflow - 一个库，用于抽象 Airflow 的运算符，其中包含将数据从一个运算符转换为另一个运算符的功能块。
• airflow-maintenance-dags - Clairvoyant 有一个 Airflow DAG 存储库，可在 Airflow 本身上运行，清除支持元数据存储的各个部分。
• test_dags - 用于 DAG 完整性测试的更完整的解决方案（第一个 Circle of Data 的 Inferno 是第一个。
• dag-factory - 用于从 YAML 配置文件动态生成 Apache Airflow DAG 的库。
• Whirl - Apache Airflow 工作流程的快速迭代本地开发和测试。
• airflow-code-editor - Apache Airflow 的插件，允许您在浏览器中编辑 DAG。
• Pylint-Airflow - 用于对 Airflow 代码进行静态代码分析的 Pylint 插件。
• afctl - 一个 CLI 工具，包含更快、更顺畅地创建、管理和部署气流项目所需的一切。
• Dag 依赖关系查看器 - 一个插件，可创建视图以可视化 Airflow DAG 之间的依赖关系
• Airflow ECR 插件 - 用于定期刷新 AWS ECR 登录令牌的插件。当 DockerOperator 需要拉取 ECR 上托管的镜像时，这非常有用。
• AirflowK8sDebugger - 使用 KubernetesPodOperator 从 Airflow dag 生成 k8s pod yaml 模板的库。
• Oozie to Airflow - 一种可以在 Apache Oozie 工作流程和 Apache Airflow 工作流程之间轻松转换的工具。
• Airflow Ditto - 一个可扩展框架，用于对 Airflow DAG 进行转换并将其转换为另一个与原始 DAG 流同构的 DAG，以便能够在不同的环境上运行它（例如在不同的云上，甚至不同的容器框架上 - YARN 上的 Apache Spark 与 Kubernetes）。提供对 EMR 到 HDInsight-DAG 转换的开箱即用支持。
• gusty - 使用任意数量的 YAML、Python、Jupyter Notebook 或 R Markdown 文件创建 DAG，这些文件代表 DAG 中的各个任务。 gusty 还可以配置依赖项、DAG 和任务组、对本地操作员的支持等。此处提供了完全容器化的演示。
• Meltano - 开源、自托管、CLI 优先、可调试且可扩展的 ELT 工具，采用 Singer 进行提取和加载，利用 dbt 进行转换，并与 Airflow 集成进行编排。
• DAG 检查 - dag 检查包含可以帮助您维护 Apache Airflow 实例的检查。
• Airflow DVC 插件 - 用于数据科学和机器学习管道的开源版本控制系统的插件 - DVC。
• Airflow Vars - 用于变量管理的 CLI，为 CD 管道创建，以实现稳健且安全的变量管理。
• airflow-priority - Airflow DAG 的优先级标签（P1、P2 等），可自动向 Datadog、New Relic、Slack、Discord 等发出警报
• airflow-config - 基于 Pydantic / Hydra 的 DAG 和任务参数配置系统
• airflow-supervisor - 易于使用的管理程序集成，适用于长期运行或“始终在线”的 DAG

聚会

• 阿姆斯特丹 Apache Airflow 聚会
• 班加罗尔 Apache Airflow 聚会
• 湾区 Apache Airflow 聚会
• 伦敦 Apache Airflow 聚会
• 墨尔本阿帕奇气流聚会
• 纽约市 Apache Airflow 聚会
• 巴黎 Apache Airflow 聚会
• 波特兰 Apache Airflow 聚会
• 东京阿帕奇气流聚会
• 华沙 Apache Airflow 聚会

商业气流即服务提供商

• Google Cloud Composer - Google Cloud Composer 是一项基于 Google Cloud 和 Airflow 构建的托管服务。
• Qubole - Qubole 主要作为 Apache Hive 的服务和支持公司而闻名，但也提供 Airflow 作为其平台的组件。
• Astronomer.io - Astronomer 提供完整的 ETL 生命周期解决方案，并且似乎完全专注于提供基于 Airflow 的产品。
• AWS MWAA - Amazon Managed Workflows for Apache Airflow (MWAA) 是 Apache Airflow 的托管编排服务，可以更轻松地在云中大规模设置和操作端到端数据管道。

Cloud Composer 资源

本部分包含适用于 Cloud Composer 的文章 - Cloud Composer 是 Google Cloud 基于 Apache Airflow 构建的服务。此处描述的技巧和解决方案适用于 Cloud Composer，但也可能适用于普通 Airflow。

• 在 Google Cloud Composer 中启用自动缩放 - 增强您的 Cloud Composer 部署，同时在空闲期间节省一些成本。
• 将您的 Composer 环境与您的业务一起扩展 - Celery Executor 架构和确保高调度程序性能的方法。
• pianka.sh - gcloud 工具中缺少命令。该工具有助于完成一些管理任务。
• 在 GKE 上使用 Composer 的 Airflow Scheduler 进行更智能的扩展方式 - Roy Berkowitz 讨论了 Cloud Composer 服务中节点的更有效使用。
• 更好地结合在一起：使用 Cloud Composer 编排数据融合管道 - Rachael Deacon-Smith 概述了 Cloud Composer 上的数据融合用例的操作员。

非英语资源

• Airflow Documentation-Chinese - (??中文) Apachecn 翻译了 Airflow 官方文档。
• Gestion de Tâches avec Apache Airflow -（法语）Nicolas Crofer - Airflow 概述、基本概念以及如何编写和触发 DAG。
• Airflowはすごいぞ！100行未満で本格的なデータパイプライン -（??日语）Hank Ehly 全面介绍了 Airflow 的主要概念，并演示了如何用不到 100 行代码创建数据管道。
• apache airflow 复数worker 构成のalpine版docker imageを作った - （??日语）Akio Ohta 介绍他的 Docker 镜像，以部署基于 Alpine 的 Airflow 系统。
• AirflowのタsukuログをS3に保存する方法 -（??日语）Hank Ehly 逐步展示了如何配置将任务日志发送到 AWS S3。
• 【彻底解说】Airflow Fluentd Elasticsearch Docker の连携方法 - （？日语）Hank Ehly 描述了如何使用 Fluentd、Elasticsearch 和 Docker 处理工作任务日志。
• Apache Airflow – Kaikki Mitä Meil​​lä On，Lähtee Dageista -（芬兰语）Olli Iivonen 对 Airflow、概念以及 Airflow 在 Solita 的使用情况的概述。
• Airflow - Automatizando seu Fluxo de trabalho -（葡萄牙语）Gilson Filho 对 Airflow、概念和基本用途的概述。
• Panduan Dasar Apache Airflow -（印度尼西亚语）Imam Digmi - 气流概述、概念、基本使用和用例。
• Airflow -（越南语）Duyet Le - 气流概述、概念、基本使用和用例。
• Michael Yang 的 Airflow 中文博客文章 - Michael Yang 的关于使用 Apache Airflow 进行数据工程的中文博客文章，总结了基本教程和 DevOps 技能。

示例项目

• Google Cloud Platform 公共数据集管道 - 用于将数据集加入 Google Cloud 公共数据集计划的云原生数据管道架构。
• GitLab 数据团队 DAG - 用于为 GitLab 平台构建分析的多个 DAG。
• deploy-airflow-on-ecs-fargate - 部署到 Amazon ECS Fargate。演示各种功能和配置，例如将工作人员自动缩放为零、S3 远程日志记录和秘密管理。

执照

在法律允许的范围内，Jakob Homan 放弃了本作品的所有版权以及相关或邻接权。