awesome apache airflow

令人敬畏的阿帕契氣流

這是有關 Apache Airflow 的精選資源清單。請隨時貢獻任何應包含的項目。項目通常會添加在每個部分的頂部，以便更突出地顯示更多新鮮項目。

內容

• 重要連結
• 氣流部署解決方案
• 介紹和教程
• 2020 年氣流高峰會視頻
• 最佳實踐、經驗教訓和酷炫用例
• 書籍、部落格、播客等
• 幻燈片演示和在線視頻
• 庫、掛鉤、實用程式
• 聚會
• 商業氣流即服務提供者
• Cloud Composer 資源
• 非英語資源

重要連結

• 原始碼（最新穩定版本1.10.12）
• 文件（也是官方網站）
• 匯合頁面
• 鬆弛工作空間

氣流部署解決方案

• 在 IBM Cloud 上安裝 Airflow - 使用 IBM Bitnami Charts 在 IBM Cloud 上快速輕鬆地部署
• 在 Kubernetes 上運行 Airflow 的三種方法 - Tim van de Keer 介紹了在 Kubernetes 上部署 Airflow 的幾種方法。
• Azure 上的 Apache Airflow 多層免費部署 - Bitnami 提供的免費 Azure 資源管理器 (ARM) 模板，為生產案例在 Azure 上部署 Airflow 提供一鍵式解決方案。
• KubernetesExecutor Helm Chart - 使用 KubernetesExecutor 的精益 Helm Chart 提供更多 k8s 本機體驗和補充 KubernetesExecutor Docker 映像.
• Stable Celery Helm Chart - 官方穩定圖表儲存庫中精選的 Helm Chart.
• Puckel 的 Docker 映像 - @Puckel_ 精心製作的 Docker 映像已成為許多 Airflow 安裝的基礎。它定期更新並密切追蹤官方 Apache 版本。
• Kubernetes Custom Operator for Deploying Airflow - 用於在 Kubernetes 上部署 Airflow 的 Kubernetes 自訂控制器（也稱為操作員模式）.
• airflow-pipeline - 為 Spark 和 Hadoop 預先配置的 Airflow Docker 容器。可以透過datagovsg/airflow-pipeline進行 docker 拉取。
• aws-airflow-stack - 使用 CeleryExecutor 的基於 AWS 的 Airflow 叢集部署。使用 CloudFormation 點擊幾下即可進行部署。
• kube-airflow - 該儲存庫包含 Airflow Docker 映像（似乎基於 Puckel 的工作）和 Kubernetes 服務定義。 mumoshu 的儲存庫最近尚未更新，但有許多分支可能基於更新的版本。
• airflow-on-kubernetes - 與在 Kubernetes 上執行 Airflow 相關的所有相關資源、腳本和專案的指南。
• airflow-k8s-executor-on-GKE - 使用 Helm 在 Google Kubernetes Engine 上部署可擴充、低維護的 Airflow kubernetes 執行器環境的詳細教學。
• airflow-cookbook - 用於部署 Airflow 的 Chef 食譜。
• 在 Apache Mesos 之上運行 Airflow - 描述如何設定 Mesos 來運行所有 Airflow 元件的部落格。
• 將 Apache Airflow 與 Apache Ambari 整合 - Mykola Mykhalov 逐步介紹如何使用 Apache Ambari 設定和部署 Airflow 實例。
• 天文學家平台 - Kubernetes 上的 Apache Airflow 即服務。欲了解更多信息，請訪問 https://www.astronomer.io。
• Bitnami Airflow Docker 映像 - 由 Bitnami 維護的 Airflow 的安全且最新的 Docker 映像。
• Bitnami Airflow Scheduler Docker 映像 - 由 Bitnami 維護的 Airflow Scheduler 的安全且最新的 Docker 映像。
• Bitnami Airflow Worker Docker 映像 - 由 Bitnami 維護的 Airflow Worker 的安全且最新的 Docker 映像.此處提供了 CeleryExecutor docker-compose 部署。
• 透過 Python PEX 檔案分發和部署 Apache Airflow - 範例儲存庫，其中包含將 Apache Airflow 捆綁、分發和部署為 PEX 檔案的步驟。
• Introducing KEDA for Airflow - 如何使用 KEDA 縮放器系統根據 Airflow 元資料資料庫中儲存的資料自動縮放 celery 工作線程。
• Airflow-Component - 計算節點上聯合 Airflow-Airflow (RabbitMQ) 參考架構的輕量安裝程式。

介紹和教程

• Apache Airflow 監控指標 - maxcotec 的兩部分系列，介紹如何利用現有的 Airflow statsd 指標透過 Prometheus 監控 Grafana 儀表板上的氣流部署。也了解如何建立自訂指標。
• Airflow 簡介 - maxcotec 為 Apache Airflow 的初學者和中級使用者提供的網路教學系列。
• 使用 Apache Airflow 進行 ETL，用於事務資料的資料分析。 Kimaru Thagana 介紹了一個使用 Apache Airflow 使用虛擬電子商務商店的交易、使用者和產品資料執行 ETL 流程的實際案例。資料透過 Flask API 提供。
• Start Building Better Data Pipelines With apache Airflow 2020-Oct - Naman Gupta 介紹了 Airflow 及其概念的基礎知識。
• Airflow 儲存庫範本 - 用於使用 Airflow 進行本機開發的樣板儲存庫，並對有效 DAG 和外掛程式進行檢查和測試。只需克隆並運行make start-airflow即可開始！新增一些 CI 作業來部署您的程式碼，然後就完成了。
• Apache Airflow 如何在 Celery 工作執行緒上指派作業 - 分散式架構中任務實例從調度到成功所採取的步驟的簡短描述。
• 遠端 Spark 提交到 EMR 上執行的 YARN - Azhaguselvan 逐步介紹如何使用 Airflow 將 Spark 作業提交到現有 EMR 叢集。
• Agraj Mangal 編寫的《在 Apache Mesos 及其後續產品 Mesos、Airflow & Docker 之上運行 Airflow》是在 Apache Mesos 之上運行 Airflow 的快速概述。
• Quizlet 的 Dustin Stansbury 撰寫了一個由四部分組成的系列文章，涵蓋工作流程管理器的一般用途、Quizlet 如何選擇 Airflow、Airflow 關鍵概念概覽以及 Quizlet 現在如何在實踐中使用 Airflow：
  • 超越 CRON：工作流程管理系統簡介
  • 為什麼 Quizlet 選擇 Apache Airflow 來執行資料工作流程
  • 了解 Apache Airflow 的關鍵概念
  • Quizlet 如何在實作中使用 Apache Airflow
• 將 Apache Airflow 與 Databricks 整合 - 雖然本教學專門關注 Databricks 的 Spark 解決方案，但它確實對 Airflow 基礎知識進​​行了合理的概述，並演示了第三方解決方案如何快速整合到 Airflow 中。
• Apache Airflow 2.0 教學 - 本文討論 Airflow 背後的基本概念並討論它解決的問題。
• 測試和調試 Apache Airflow - 文章解釋如何對 Airflow 程式碼應用單元測試、模擬和調試。
• 開始使用 Apache Airflow 開發工作流程 - 這個簡短的介紹教學介紹如何使用 DAG、運算子、感測器建立資料管道和處理工作流程，以及如何使用 Xcoms 在運算符之間進行通訊。
• Airflow + Google Cloud Platform + Docker 入門 - Jayce Jiang 的逐步介紹。
• 如何透過 TDD（測試驅動開發）在 Airflow 中開發資料管道 - 了解如何使用 TDD 逐步建立銷售資料管道，以及最終如何使用 Github Actions 配置簡單的 CI 工作流程。

2020 年氣流高峰會視頻

第一屆Airflow Summit 2020 於2020 年7 月舉行。紐約、灣區） ）。

它包括 40 多個演講和三個研討會。您可以在 YouTube Airflow Summit 2020 播放清單中查看演講錄音，或在此處查看個人演講：

• 主題演講：過去與現在的氣流
• 調度程序即服務 - EA 數位平台的 Apache Airflow
• 主題演講：大公司如何使用 Airflow 進行 ML 和 ETL 管道
• 具有血統的數據 DAG 是為了樂趣和盈利
• Kubernetes 上的 Airflow：容器化您的工作流程
• Airflow @ PayPal 的資料流
• 大規模民主化資料工作流程
• 將基於 Airflow 的 Spark 作業遷移到 Kubernetes - 以原生方式
• 主題演講：氣流的未來
• 以安全的方式運行 Airflow DAG
• 主題演講：透過 D&I 讓 Airflow 成為永續項目
• Airflow CI/CD：Github 到 Cloud Composer（安全）
• 資料工程師的高級 Apache 超級集
• 示範：減少線條，視覺化 DAG 編輯器
• AIP-31：氣流功能 DAG 定義
• 使用 Airflow 進行自動駕駛
• 從 cron 到 Kubernetes 上的 Airflow：一個創業故事
• 實現氣流可觀測性
• 使用 Apache Airflow 進行機器學習
• Airflow：遊戲世界中的野獸角色
• 有效的跨 DAG 依賴
• 開源教會了我們什麼商業知識
• 資料工程需求層次
• 建立可重複使用且值得信賴的 ELT 管道（模板化方法）
• 測試 Airflow 工作流程 - 確保您的 DAG 在投入生產之前正常運作
• 為 Airflow 新增執行器：貢獻者溢出異常
• 遷移到 Airflow 向後移植供應商
• 從零到 Airflow：引導 ML 平台
• Airflow 與我們的分析管道完美匹配
• 法國興業銀行的 Airflow：銀行環境中的開源編排解決方案
• Airflow 作為 Pinterest 的下一代工作流程系統
• 改善 Airflow 的使用者體驗
• 教舊 DAG 新技巧
• 有什麼問題可以向 Airflow 會員詢問
• 使用 Airflow 加速資料密集型工具的開發
• 管道上的管道：適用於 Airflow DAG 的敏捷 CI/CD 工作流程
• Apache Airflow 的生產 Docker 映像
• Airflow 作為彈性 ETL 工具
• 我們如何推斷 Wrike 資料管道的可靠性
• 使用 Databand 實現氣流可觀測性
• 從 S3 到 BigQuery - Airflow 首次使用者如何成功實施資料管道

最佳實踐、經驗教訓和酷炫用例

• How to Best Use DuckDB with Apache Airflow - 將 DuckDB 整合到 Airflow 作業中的提示。
• Airflow Dag Python 套件管理 - 管理 100 多個 dag 中的 python 套件依賴項可能會變得很痛苦。很難追蹤哪個 dag 使用了哪些包，並且在 DAG 刪除/升級期間很難清理。了解 KubernetesPodOperator 和 DockerOperator 如何解決此問題。
• Airflow Dag 管理和版本控制 - 使用 Git 子模組有效管理 DAG 發布過程
• Airflow 測試第 2 部分 - Chandu Kavar 和 Sarang Shinde 解釋了整合測試和端到端管道測試。
• Robinhood 的升級和擴展 Airflow - Abishek Ray 描述了 Robinhood 如何升級其生產 Airflow，同時最大限度地減少停機時間。
• 我們都錯誤地使用了 Airflow 以及如何修復它 - Bluecore 的 Jessica Laughlin 分享了與 Airflow 設計相關的三個工程問題，以及如何透過在兩種設計模式中使用 KubernetesPodOperator 來解決這些問題。
• 資料沿襲入門 - Dailymotion 的 Germain Tanguy 分享了一個整合到 Apache Airflow 的資料沿襲原型。
• 資料工程師、資料分析師和資料科學家之間的協作 - Dailymotion 的 Germain Tanguy 分享瞭如何透過與 Apache Airflow 協作在生產中高效發布。
• 將 Apache Airflow 的 Docker Operator 與 Amazon 的容器儲存庫結合使用 - Lucid 的 Brian Campbell 提供了將 AWS 的 ECR 服務與 Airflow 的 DockerOperator 整合的技巧。
• Airflow：鮮為人知的提示、技巧和最佳實踐 - Kaxil Naik 解釋了有關使用 Airflow 的鮮為人知但非常有用的提示和最佳實踐。
• 邊界層：聲明性氣流工作流程 - Kevin McHale 解釋了開源專案邊界層，它使用聲明性工作流程產生氣流 dag。
• Airflow 測試第 1 部分 - Chandu Kavar 解釋了 Airflow 中不同類別的測試。它包括 DAG 驗證測試、DAG 定義測試和單元測試。
• 提高 Airflow UI 安全性 - WePay 的 Joy Gau 詳細介紹了基於角色的存取控制 (RBAC) 的需求以及她如何將其引入 Airflow。
• 如何在 Apache Airflow 中創建工作流程來追蹤印度的疾病爆發 - Vinayak Mehta 詳細介紹了 SocialCops 如何使用 Airflow 抓取印度衛生和家庭事務部的信息，以產生有關可能的疾病爆發的派生數據。
• Airflow、元資料工程和世界上最大民主國家的資料平台- Vinayak Mehta 談論如何識別資料工程模式（元資料工程）以自動產生DAG，以及如何幫助SocialCops 為DISHA 提供支持，DISHA 是一個國家資料平台，印度國會議員和工作重點負責監督 42 項國家級計劃的進展。
• Airflow-ing 和 Airflow 第 2 部分的經驗教訓：Nehil Jain 編寫了一個由兩部分組成的系列，涵蓋工作流程調度程式的價值、他在使用 Airflow 時發現的一些最佳實踐和陷阱。第二篇文章特別包含了許多製作技巧。
• 為什麼 Robinhood 使用 Airflow - Vineet Goel 闡述了為什麼金融交易平台 Robinhood 選擇 Airflow 而不是其他工作排程。
• 我們從 Cron 遷移到 Airflow 的經驗 - Katie Macias 描述了 VideoAmp 的資料工程從 cron 到 Airflow 的旅程。
• 幕後花絮：在 Qubole 建立 AIR - Sreenath Kamath 和 Rajat Venkatesh 撰寫了有關在 Airflow 上建立 Qubole 資料發現、見解和推薦平台的文章。
• 氣流：為什麼沒有任何作用？ - TL;DR Airflow 的 SubDagOperator 導致死鎖，作者：Jessica Laughlin - 深入探討有問題的 Airflow DAG 的故障排除，並提供有關如何診斷問題的良好提示。
• Apache Airflow 作為分散式系統的外部排程器 - Arunkumar 建議使用 Airflow 作為分散式系統的簡單外部排程器。
• Sift 如何使用 Apache Airflow 訓練數千個模型 - Sift Science 機器學習模型管道的部署策略摘要。
• Pandora 的 Apache Airflow - Ace Haidrey 討論了 Pandora 選擇 Airflow 的原因，並詳細介紹了其部署及其背後的基礎設施。
• 來自芝加哥資料工程前沿的 Airflow Lessons - Alison Stanton 提供了一系列避免 Airflow 工作中出現問題的技巧。
• 數據地獄：Airflow 的 7 個數據測試地獄 - ING 的批發銀行高級分析團隊詳細介紹了他們如何在部署之前對 Airflow DAG 進行嚴酷測試。
  • 使用 Airflow 儲存庫進行資料測試
• 資料品質檢查器 - Antoine Augusti 描述了 drive 在 Airflow 上建立的框架，用於測試其資料集的完整性、一致性、及時性、唯一性、有效性和準確性。
• 使用 BigQuery 和 Airflow 建立 WePay 的資料倉儲 - 不可估量的 Chris Riccomini 描述了 WePay（Airflow 的首批採用者之一）如何整合到他們的 Google 雲端運算環境中。
• 使用 Apache Airflow 在公共部門創建資料基礎設施 - 儘管不幸的是，本文的銷售基調非常沉重，但本文部落格文章描述了非營利資料組織 ARGO Labs 如何利用 Airflow 在公共部門資料中進行 ETLing。
• ETL with Airflow - ETL 核心原理和幾個基於 docker 的端對端範例，包括 Kimball、Data Vault on Hive 和一些更簡單的範例。
• 如何使用 Apache Airflow 聚合 BigQuery 資料 - 如何將 Airflow 與 Google BigQuery 結合使用來為 Data Studio 儀表板提供支援的範例。
• Productionizing ML with Works at Twitter - 深入介紹 Twitter 為何以及如何使用 Airflow 進行 ML 工作流程，包括包含自訂運算符和嵌入 Airflow Web 介面中的自訂 UI。
• 在 Lyft 上運行 Apache Airflow - 概述了 Lyft 如何在生產中運行 Apache Airflow（監控、自訂等）。
• 在 Azure 中部署 Apache Airflow 以建置和執行資料管道 - 它討論了在 Azure 上執行 Airflow。
• The Zen of Python and Apache Airflow - 關於如何將 Zen of Python 應用於 Airflow 程式碼的部落格文章。
• 透過 DAG 等級存取保護 Apache Airflow UI - 有關 Airflow DAG 等級存取以及 Lyft 如何使用它的部落格文章。
• 零停機升級 Airflow - 有關如何零停機部署 Airflow 的詳細文章。
• 使用 Apache Airflow 建立生產級 ETL 管道平台 - 這篇文章介紹了 Cerner 的系統管理團隊如何使用 Airflow。
• Bare Minimal Airflow on Kubernetes (Local, EKS, AKS) - 一篇有關透過最少的設定在本地 Kubernetes、AWS EKS 和 Azure AKS 上部署 Airflow 的文章。
• 分解 Airflow DAG monorepo - 這篇文章介紹如何支援透過 S3 從多個 git 儲存庫管理 Airflow DAG。
• Improving Performance of Apache Airflow Scheduler - 一個讓 Databand 將 DAG 解析時間加快 10 倍的冒險故事
• SSENSE 如何使用 Apache Airflow 在 AWS 上進行資料沿襲 - 探索使用 Apache Arflow 在 AWS 上建置和管理資料湖的基本主題。
• 使用 Prometheus、StatsD 和 Grafana 監控 Airflow - 有關如何透過 Databand 將操作儀表板設定到生產叢集並獲得 Airflow 的高級可見性的指南。
• 使用 Apache Airflow 在 Hurb 上編排複雜任務 - 這篇文章展示了 Hurb 如何使用 Apache Airflow 來編排複雜任務，以及如何利用 DAG 動態創建來提高開發速度。
• 使用 Apache Airflow 自動將資料從 CrateDB 匯出到 S3 如何使用 Apache Airflow 在 CrateDB 中自動執行重複查詢的教學課程，例如定期將資料匯出到 Amazon S3。
• 使用 CrateDB 和 Apache Airflow 實施資料保留策略 有關如何使用 CrateDB 和 Apache Airflow 實施有效資料保留策略的逐步教學。
• 將 NYC 計程車資料從 S3 提取到 CrateDB - 描述如何透過將 CSV 檔案從 S3 載入到 CrateDB 中來在 Airflow 中建立資料庫提取管道。

書籍、部落格、播客等

• Data Pipelines with Apache Airflow - Manning 關於 Airflow 的書（2019 年 9 月搶先體驗）。
• The Airflow Podcast - 一個半定期的播客，討論所有關於 Airflow 的事情。
• Maxime Beauchemin - Maxime 在媒體上的博客，深入了解 Apache Airflow 背後的理念.
• Robert Chang - 有關使用 Apache Airflow 進行資料工程的部落格文章，解釋了原因並提供了程式碼範例。
• 使用 Kubernetes Executor 處理 Airflow 日誌 - 這篇部落格文章概述如何在使用 KubernetesExecutor 時設定遠端 S3 日誌記錄，而無需建立複雜的基礎架構。
• Airflow 2.0：重新設計 DAG 創作 - 有關在 Airflow 2.0 中編寫 DAG 的新方法的部落格文章。
• Airflow 2.0 Providers - 有關 Airflow 2.0 中的提供程式包的部落格文章。

幻燈片演示和在線視頻

• 2020 年 2 月：Apache Airflow @ Umuzi.org - Sheena O'Connell 討論了位於南非的技術訓練營 Umuzi 如何使用 Airflow。
• Apache Airflow YouTube 教學 - Marc Lamberti 創建了一系列 YouTube 教學課程，涵蓋 Airflow 概念、設定和部署的許多方面。
• Advanced Data Engineering Patterns with Apache Airflow - Maxime Beauchemin 的演講視頻，簡要介紹了 Airflow，然後介紹了更高級的用例，包括自助 SQL 查詢、構建 A/B 測試指標框架和通過 Airflow 進行機器學習特徵提取。這些幻燈片可在此處單獨取得。
• 使用 Apache Airflow 的現代資料管道 - Astronomer.io 的 Taylor Edmiston 和 Andy Cooper 在 Momentum Dev Con 2018 上發表的演講，內容涉及 Airflow、自訂元件、範例 DAG 和 Astronomer Airflow CLI 入門。
• 使用 Apache Airflow 建立更好的資料管道 - 幻燈片來自 Sid Anand 在 QCon 18 上的演講，全面概述了 Airflow 及其架構。
• Astronomer 的 Airflow 和 Spark Streaming - Astronomer 如何使用動態 DAG 透過 Airflow 來執行 Spark Streaming 作業。
• 雲端中的Apache Airflow：使用Python 以程式設計方式編排工作負載- 來自Kaxil Naik 和Satyasheel 在PyData London 18 上的演講的幻燈片，介紹了Airflow 的基礎知識以及如何在Google Cloud Platform (GCP) 上編排工作負載。
• 使用 Apache Airflow 在 Python 程式碼中開發優雅的工作流程 - Europython 的 Michał Karzyński 簡要介紹了 Airflow 概念，包括工作流程管理器、DAG 和操作員的角色。連結包括影片和幻燈片。
• 數據管道管理 - Ben Goldberg 在芝加哥 Kubernetes 聚會上介紹了 SpotHero 如何使用 Airflow。此外，Ben 還提供了一個非常完整的幻燈片，介紹了 Airflow 在 Kubernetes 中的運作方式。
• 我如何學會使用 Airflow 進行時間旅行或數據管道和調度 - Laura Lorenz 的綜合甲板，介紹了為什麼 Airflow 是必要的以及 Industry Dive 如何使用它。
• Apache Airflow 簡介 - 2016 年西雅圖資料日 - Sid Anand 全面介紹了 Airflow 以及它如何在 Agari 中使用。
• 使用 Airflow 操作資料管道 - Airflow 聚會 2018 年 4 月 - Ananth Packkildurai 談論擴展 Airflow 本地執行器以及在 Slack 操作資料管道的最佳實踐。
• WePay 的 Apache Airflow - Chris Riccomini 討論了 WePay 選擇 Airflow 的原因，並詳細介紹了其部署及其背後的基礎設施。
• 使用 Apache Airflow 實現優雅的資料管道 - Bolke de Bruin 和 Fokko Driesprong 在 2018 年 PyData 阿姆斯特丹會議上的演講，內容涉及使用 Airflow 提供 ETL 清晰度的方法。
• Airflow @ Lyft - 馮濤在 SF 大數據分析聚會上談論 Lyft 如何監控生產中運行的 Airflow。
• 使用 Airflow 和 Kubernetes 進行可管理的資料管道 - Jarek Potiuk 和 Szymon Przedwojski 的演講。 GDG 華沙 DevFest 2018 關於 Airflow 的介紹演講。
• 將 Apache Oozie 工作流程移轉到 Apache Airflow - Szymon Przedwojski 在 2018 年 6 月 Airflow 灣區聚會上關於 Oozie 到 Airflow 遷移工具的演講。
• 使用 Apache Airflow 建立資料湖 - Bas Harenslak 和 Julian de Ruiter 在 2018 年 9 月阿姆斯特丹 Apache Airflow 聚會上發表的演講，內容涉及使用 Apache Airflow 作為網路中管理所有資料流的蜘蛛來建立資料湖。
• First Warsaw Apache Airflow Meetup - 2019 年 10 月在華沙舉行的第一屆 Apache Airflow Meetup 的現場直播錄製。
• Apache Airflow 2.0 即將推出的內容 - Ash Berlin-Taylor、Kaxil Naik、Jarek Potiuk、Kamil Breguła、Daniel Imbermann 和 Tomek Urbaszek 在 2020 年 5 月 13 日紐約線上聚會上的聯合演講
• Airflow Breeze - Apache Airflow 的開發和測試環境 - Jarek Potiuk 展示如何使用 Breeze 環境的截圖影片。

庫、掛鉤、實用程式

• Domino - Domino 是一個開源圖形使用者介面平台，用於透過無程式碼、直覺的拖放操作來建立資料和機器學習工作流程 (DAG)。它也是發布和共享 Python 程式碼的標準，因此任何人都可以直接在 GUI 中自動使用它。
• Airflow-Helper - 從 YAML 設定檔設定 Airflow 變數、連線和池。
• AirFly - 自動產生 Airflow 的 dag.py。
• DEAfrica Airflow - 數位地球非洲使用的氣流庫，這是一項利用非洲衛星圖像的人道主義努力。
• Airflow 外掛程式 - Airflow 各種外掛程式儲存庫的集中集合，包括 mailchimp、trello、sftp、GitHub 等。
• fileflow - 透過本機檔案系統或 S3 支援 Airflow 操作員之間的大量資料傳輸的模組集合。這解決了數據對於 XCOM 來說太大但對於直接加載到操作員中來說太小或不方便的差距。由Industry Dive 建造。
• fairflow - 一個庫，用於抽象 Airflow 的運算符，其中包含將資料從一個運算符轉換為另一個運算符的功能塊。
• airflow-maintenance-dags - Clairvoyant 有一個 Airflow DAG 儲存庫，可在 Airflow 本身上運行，清除支援元資料儲存的各個部分。
• test_dags - 用於 DAG 完整性測試的更完整的解決方案（第一個 Circle of Data 的 Inferno 是第一個。
• dag-factory - 用於從 YAML 設定檔動態產生 Apache Airflow DAG 的函式庫。
• Whirl - Apache Airflow 工作流程的快速迭代本機開發和測試。
• airflow-code-editor - Apache Airflow 的插件，可讓您在瀏覽器中編輯 DAG。
• Pylint-Airflow - 用於對 Airflow 程式碼進行靜態程式碼分析的 Pylint 外掛程式。
• afctl - 一個 CLI 工具，包含更快、更順暢地創建、管理和部署氣流專案所需的一切。
• Dag 依賴關係檢視器 - 一個插件，可建立視圖以視覺化 Airflow DAG 之間的依賴關係
• Airflow ECR 外掛程式 - 用於定期刷新 AWS ECR 登入令牌的插件。當 DockerOperator 需要拉取 ECR 上託管的映像時，這非常有用。
• AirflowK8sDebugger - 使用 KubernetesPodOperator 從 Airflow dag 產生 k8s pod yaml 範本的庫。
• Oozie to Airflow - 可以在 Apache Oozie 工作流程和 Apache Airflow 工作流程之間輕鬆轉換的工具。
• Airflow Ditto - 一個可擴展框架，用於對Airflow DAG 進行轉換並將其轉換為另一個與原始DAG 流同構的DAG，以便能夠在不同的環境上運行它（例如在不同的雲上，甚至不同的容器框架上 - YARN 上的 Apache Spark 與 Kubernetes）。提供 EMR 到 HDInsight-DAG 轉換的開箱即用支援。
• gusty - 使用任意數量的 YAML、Python、Jupyter Notebook 或 R Markdown 檔案建立 DAG，這些檔案代表 DAG 中的各個任務。 gusty 還可以配置依賴項、DAG 和任務群組、對本地操作員的支援等。此處提供了完全容器化的演示。
• Meltano - 開源、自架、CLI 優先、可調試且可擴展的 ELT 工具，採用 Singer 進行提取和加載，利用 dbt 進行轉換，並與 Airflow 集成進行編排。
• DAG 檢查 - dag 檢查包含可以幫助您維護 Apache Airflow 實例的檢查。
• Airflow DVC 外掛程式 - 用於資料科學和機器學習管道的開源版本控制系統的插件 - DVC。
• Airflow Vars - 用於變數管理的 CLI，為 CD 管道創建，以實現穩健且安全的變數管理。
• airflow-priority - Airflow DAG 的優先標籤（P1、P2 等），可自動向 Datadog、New Relic、Slack、Discord 等發出警報
• airflow-config - 基於 Pydantic / Hydra 的 DAG 和任務參數配置系統
• airflow-supervisor - 易於使用的管理程式集成，適用於長期運行或「始終在線」的 DAG

聚會

• 阿姆斯特丹 Apache Airflow 聚會
• 班加羅爾 Apache Airflow 聚會
• 灣區 Apache Airflow 聚會
• 倫敦 Apache Airflow 聚會
• 墨爾本阿帕契氣流聚會
• 紐約市 Apache Airflow 聚會
• 巴黎 Apache Airflow 聚會
• 波特蘭 Apache Airflow 聚會
• 東京阿帕契氣流聚會
• 華沙 Apache Airflow 聚會

商業氣流即服務提供者

• Google Cloud Composer - Google Cloud Composer 是基於 Google Cloud 和 Airflow 所建置的託管服務。
• Qubole - Qubole 主要以 Apache Hive 的服務和支援公司而聞名，但也提供 Airflow 作為其平台的元件。
• Astronomer.io - Astronomer 提供完整的 ETL 生命週期解決方案，並且似乎完全專注於提供基於 Airflow 的產品。
• AWS MWAA - Amazon Managed Workflows for Apache Airflow (MWAA) 是 Apache Airflow 的託管編排服務，可以更輕鬆地在雲端大規模設定和操作端對端資料管道。

Cloud Composer 資源

本部分包含適用於 Cloud Composer 的文章 - Cloud Composer 是 Google Cloud 基於 Apache Airflow 建置的服務。此處所述的技巧和解決方案適用於 Cloud Composer，但也可能適用於普通 Airflow。

• 在 Google Cloud Composer 中啟用自動縮放 - 增強您的 Cloud Composer 部署，同時在空閒期間節省一些成本。
• 將您的 Composer 環境與您的業務一起擴展 - Celery Executor 架構和確保高調度程序效能的方法。
• pianka.sh - gcloud 工具中缺少指令。該工具有助於完成一些管理任務。
• 在 GKE 上使用 Composer 的 Airflow Scheduler 進行更聰明的擴展方式 - Roy Berkowitz 討論了 Cloud Composer 服務中節點的更有效使用。
• 更好地結合在一起：使用 Cloud Composer 編排資料融合管道 - Rachael Deacon-Smith 概述了 Cloud Composer 上的資料融合用例的操作員。

非英語資源

• Airflow Documentation-Chinese - (??中文) Apachecn 翻譯了 Airflow 官方文件。
• Gestion de Tâches avec Apache Airflow -（法文）Nicolas Crofer - Airflow 概述、基本概念以及如何撰寫和觸發 DAG。
• Airflowはすごいぞ！100行未満で本格的なデータパイプライン -（??日語）Hank Ehly 全面介紹了 Airflow 的主要概念，並示範瞭如何用資料
• apache airflow 複數worker 構成のalpine版docker imageを作った - （??日文）Akio Ohta 介紹他的 Docker 映像，以部署基於 Alpine 的 Airflow 系統。
• AirflowのタsukuログをS3に保存する方法 -（??日文）Hank Ehly 逐步展示如何設定將任務日誌傳送到 AWS S3。
• 【徹底解說】Airflow Fluentd Elasticsearch Docker の連攜方法 - （？日文）Hank Ehly 描述如何使用 Fluentd、Elasticsearch 和 Docker 處理工作工作日誌。
• Apache Airflow – Kaikki Mitä Meil​​ä On，Lähtee Dageista -（芬蘭語）Olli Iivonen 對 Airflow、概念以及 Airflow 在 Solita 的使用情況的概述。
• Airflow - Automatizando seu Fluxo de trabalho -（葡萄牙語）Gilson Filho 對 Airflow、概念和基本用途的概述。
• Panduan Dasar Apache Airflow -（印尼語）Imam Digmi - 氣流概述、概念、基本使用和用例。
• Airflow -（越南語）Duyet Le - 氣流概述、概念、基本使用和用例。
• Michael Yang 的 Airflow 中文部落格文章 - Michael Yang 的關於使用 Apache Airflow 進行資料工程的中文部落格文章，總結了基本教學和 DevOps 技能。

範例專案

• Google Cloud Platform 公用資料集管道 - 用於將資料集加入 Google Cloud 公用資料集計畫的雲端原生資料管道架構。
• GitLab 資料團隊 DAG - 用於為 GitLab 平台建立分析的多個 DAG。
• deploy-airflow-on-ecs-fargate - 部署到 Amazon ECS Fargate。示範各種功能和配置，例如將工作人員自動縮放為零、S3 遠端日誌記錄和秘密管理。

執照

在法律允許的範圍內，Jakob Homan 放棄了本作品的所有版權以及相關或鄰接權。