awesome apache airflow

素晴らしい Apache エアフロー

これは、Apache Airflow に関するリソースの厳選されたリストです。含めるべき項目があればお気軽にご投稿ください。通常、アイテムは各セクションの先頭に追加され、より新鮮なアイテムがより目立つように表示されます。

コンテンツ

• 重要なリンク
• エアフロー導入ソリューション
• 概要とチュートリアル
• エアフロー サミット 2020 ビデオ
• ベストプラクティス、学んだ教訓、優れた使用例
• 本、ブログ、ポッドキャストなど
• スライドデッキのプレゼンテーションとオンラインビデオ
• ライブラリ、フック、ユーティリティ
• 交流会
• 商用 Airflow-as-a-service プロバイダー
• Cloud Composer のリソース
• 英語以外のリソース

重要なリンク

• ソースコード (最新の安定版リリース 1.10.12)
• ドキュメント (公式 Web サイトも)
• Confluence ページ
• Slack ワークスペース

エアフロー導入ソリューション

• IBM Cloud への Airflow のインストール - IBM Bitnami Charts を使用した IBM Cloud への迅速かつ簡単な導入
• Kubernetes で Airflow を実行する 3 つの方法 - Tim van de Keer が、Kubernetes で Airflow をデプロイするためのいくつかの方法を説明します。
• Azure での Apache Airflow 多層無料デプロイ - Bitnami による無料の Azure Resource Manager (ARM) テンプレートは、運用ユースケース向けに Azure での Airflow デプロイのためのワンクリック ソリューションを提供します。
• KubernetesExecutor Helm Chart - より k8s ネイティブ エクスペリエンスを実現する KubernetesExecutor と、補完的な KubernetesExecutor Docker イメージを使用する無駄のない Helm チャート。
• Stable Celery Helm Chart - 公式安定チャート リポジトリ内の厳選された Helm チャート。
• Puckel の Docker イメージ - @Puckel_ が巧妙に作成した Docker イメージは、多くの Airflow インストールのベースになっています。定期的に更新され、公式の Apache リリースを厳密に追跡します。
• Airflow をデプロイするための Kubernetes カスタム オペレーター - Kubernetes に Airflow をデプロイするための Kubernetes カスタム コントローラー (オペレーター パターンとも呼ばれます)。
• airflow-pipeline - Spark および Hadoop 用に事前構成された Airflow Docker コンテナー。 datagovsg/airflow-pipelineで Docker でプルできます。
• aws-airflow-stack - CeleryExecutor を使用した AWS ベースの Airflow クラスターのデプロイメント。 CloudFormation を使用すると、数回クリックするだけでデプロイできます。
• kube-airflow - このリポジトリには、Airflow Docker イメージ (Puckel の作品に基づいていると思われる) と Kubernetes サービス定義の両方が含まれています。 mumoshu のリポジトリは最近更新されていませんが、より最近のリリースに基づいている可能性のあるフォークが多数あります。
• airflow-on-kubernetes - Kubernetes での Airflow の実行に関連するすべての関連リソース、スクリプト、プロジェクトに関するガイド。
• airflow-k8s-executor-on-GKE - Helm を使用して Google Kubernetes Engine にデプロイされた、スケーラブルでメンテナンスの少ない airflow kubernetes executor 環境を取得するための詳細なチュートリアル。
• airflow-cookbook - Airflow をデプロイするための Chef クックブック。
• Apache Mesos 上で Airflow を実行する - すべての Airflow コンポーネントを実行するように Mesos を構成する方法を説明するブログ。
• Apache Airflow と Apache Ambari の統合 - Mykola Mykhalov が、Apache Ambari を使用して Airflow インスタンスを構成およびデプロイする方法について説明します。
• Astronomer プラットフォーム - Kubernetes 上のサービスとしての Apache Airflow。詳細については、https://www.astronomer.io をご覧ください。
• Bitnami Airflow Docker イメージ - Bitnami によって維持される Airflow の安全で最新の Docker イメージ。
• Bitnami Airflow Scheduler Docker イメージ - Bitnami によって保守されている Airflow Scheduler の安全で最新の Docker イメージ。
• Bitnami Airflow Worker Docker イメージ - Bitnami によって維持される Airflow Worker の安全で最新の Docker イメージ。 CeleryExecutor docker-compose デプロイメントはここから入手できます。
• Python PEX ファイルによる Apache Airflow の配布とデプロイ - Apache Airflow を PEX ファイルとしてバンドル、配布、デプロイする手順を含むサンプル リポジトリ。
• Airflow 用 KEDA の紹介 - KEDA スケーラー システムを使用して、Airflow メタデータ データベースに保存されているデータに基づいてセロリ ワーカーの自動スケーリングを有効にする方法。
• Airflow-Component - コンピューティング ノード上のフェデレーテッド Airflow-Airflow (RabbitMQ) リファレンス アーキテクチャの軽量インストーラー。

概要とチュートリアル

• Apache Airflow モニタリング メトリクス - 既存の Airflow statsd メトリクスを利用して、Prometheus 経由で Grafana ダッシュボード上のエアフロー デプロイメントを監視する方法についての maxcotec による 2 部構成のシリーズ。カスタム指標を作成する方法も学習します。
• Airflow の概要 - Apache Airflow の初心者および中級者向けの maxcotec による Web チュートリアル シリーズ。
• トランザクション データのデータ分析のための Apache Airflow を使用した ETL。 Kimaru Tagana は、ダミーの e コマース ストアのトランザクション データ、ユーザー データ、および製品データを使用して、Apache Airflow を使用して ETL プロセスを実行する実際のケースを取り上げています。データは Flask API 経由で提供されます。
• Start Buildings Better Data Pipelines With Apache Airflow 2020-Oct - Naman Gupta が Airflow の基本とその概念について説明します。
• Airflow リポジトリ テンプレート - Airflow を使用してローカルで開発するためのボイラープレート リポジトリ。有効な DAG とプラグインのリンティングとテストが含まれます。クローンを作成してmake start-airflowを実行するだけで開始できます。いくつかの CI ジョブを追加してコードをデプロイすれば完了です。
• Apache Airflow が Celery ワーカーにジョブを分散する方法 - 分散アーキテクチャにおいて、タスク インスタンスがスケジュール設定から成功まで実行する手順の簡単な説明。
• EMR 上で実行されている YARN へのリモート スパーク送信 - Azhaguselvan は、Airflow を使用して既存の EMR クラスターに Spark ジョブを送信する手順を説明します。
• Apache Mesos 上での Airflow の実行とその続編、Agraj Mangal による Mesos, Airflow & Docker は、Apache Mesos 上での Airflow の実行の概要を示しています。
• Quizlet の Dustin Stansbury は、ワークフロー マネージャーが一般的に行うこと、Quizlet が Airflow を選んだ経緯、Airflow の主要な概念のツアー、そして Quizlet が現在実際に Airflow をどのように使用しているかを説明する 4 部構成のシリーズを執筆しています。
  • CRON を超えて: ワークフロー管理システムの概要
  • Quizlet がデータ ワークフローの実行に Apache Airflow を選択した理由
  • Apache Airflow の主要な概念を理解する
  • Quizlet が実際に Apache Airflow を使用する方法
• Apache Airflow と Databricks の統合 - このチュートリアルは特に Databricks の Spark ソリューションに焦点を当てていますが、Airflow の基本について合理的な概要があり、サードパーティのソリューションを Airflow に迅速に統合する方法を示しています。
• Apache Airflow 2.0 チュートリアル - この記事では、Airflow の背後にある基本概念と、Airflow が解決する問題について説明します。
• Apache Airflow のテストとデバッグ - Airflow コードに単体テスト、モック、デバッグを適用する方法を説明する記事。
• Apache Airflow でワークフローの開発を始めましょう - この簡単な入門チュートリアルでは、DAG、オペレーター、センサー、Xcoms を使用したオペレーター間の通信を使用したデータ パイプラインと処理ワークフローの作成方法について説明します。
• Airflow + Google Cloud Platform + Docker を始めましょう - Jayce Jiang によるステップバイステップの紹介。
• TDD (テスト駆動開発) を通じて Airflow でデータ パイプラインを開発する方法 - TDD を使用して販売データ パイプラインを構築する方法を段階的に学び、最終的には Github Actions を使用してシンプルな CI ワークフローを構成する方法を学びます。

エアフロー サミット 2020 のビデオ

第 1 回 Airflow Summit 2020 は 2020 年 7 月に開催されました。これは、世界中の 9 つの Airflow Meetup (メルボルン、東京、バンガロール、ワルシャワ、アムステルダム、ロンドン、ニューヨーク、ベイエリア) が共催した、真にグローバルな完全オンラインイベントでした。 ）。

40 以上の講演と 3 つのワークショップが行われました。トークの録画は YouTube Airflow Summit 2020 プレイリストとしてチェックすることも、個々のトークをここで確認することもできます。

• 基調講演: 昔と今の空気の流れ
• サービスとしてのスケジューラ - EA Digital Platform の Apache Airflow
• 基調講演: 大企業が ML および ETL パイプラインに Airflow をどのように使用しているか
• 楽しみと利益を目的としたリネージュを備えたデータ DAG
• Kubernetes の Airflow: ワークフローのコンテナ化
• Airflow @ PayPal によるデータ フロー
• 大規模な民主化されたデータ ワークフロー
• Airflow ベースの Spark ジョブを Kubernetes に移行する - ネイティブな方法
• 基調講演: エアフローの未来
• Airflow DAG を安全な方法で実行する
• 基調講演: D&I を通じて Airflow を持続可能なプロジェクトにする
• Airflow CI/CD: Github から Cloud Composer へ (安全に)
• データ エンジニア向けの高度な Apache スーパーセット
• デモ: 行を減らす、ビジュアル DAG エディター
• AIP-31: エアフロー機能 DAG 定義
• Airflowによる自動運転
• Kubernetes の cron から Airflow まで: スタートアップ ストーリー
• 気流観測性の実現
• Apache Airflow による機械学習
• Airflow: ゲーム世界の野獣キャラクター
• 効果的な Cross-DAG 依存関係
• オープンソースがビジネスについて私たちに教えてくれたこと
• データエンジニアリングのニーズ階層
• 再利用可能で信頼できる ELT パイプラインの構築 (テンプレート化されたアプローチ)
• Airflow ワークフローのテスト - 本番環境に入る前に DAG が動作することを確認する
• Airflow へのエグゼキュータの追加: コントリビュータ オーバーフロー例外
• Airflow バックポート プロバイダーへの移行
• ゼロからエアフローへ: ML プラットフォームのブートストラップ
• 当社の分析パイプラインに完璧にマッチするエアフロー
• Société Générale の Airflow : 銀行環境におけるオープンソース オーケストレーション ソリューション
• Pinterest の次世代ワークフロー システムとしての Airflow
• Airflow のユーザー エクスペリエンスの向上
• 古い DAG に新しいトリックを教える
• Airflow メンバーに何でも聞いてください
• Airflow を使用してデータ集約型ツールの開発をスピードアップする
• パイプライン上のパイプライン: Airflow DAG のアジャイル CI/CD ワークフロー
• Apache Airflow の運用 Docker イメージ
• 弾力性のある ETL ツールとしてのエアフロー
• Wrike のデータ パイプラインの信頼性をどのように判断するか
• データバンドによるエアフローの可観測性の実現
• S3 から BigQuery へ - 初めて Airflow ユーザーがデータ パイプラインの実装に成功した方法

ベストプラクティス、学んだ教訓、優れた使用例

• Apache Airflow で DuckDB を最適に使用する方法 - DuckDB を Airflow ジョブに統合するためのヒント。
• Airflow Dag Python パッケージ管理 - 100 以上の DAG にわたる Python パッケージの依存関係を管理するのは困難になる場合があります。どのパッケージがどの DAG で使用されているかを追跡するのは難しく、DAG の削除/アップグレード中にクリーンアップするのは困難です。 KubernetesPodOperator と DockerOperator がこの問題を解決する方法を学びましょう。
• Airflow DAG 管理とバージョニング - Git サブモジュールを使用して DAG リリース プロセスを効率的に管理します
• Airflow でのテスト パート 2 - Chandu Kavar と Sarang Shinde が、統合テストとエンドツーエンドのパイプライン テストについて説明しました。
• Robinhood での Airflow のアップグレードと拡張 - Abishek Ray は、Robinhood がダウンタイムを最小限に抑えながら本番環境の Airflow のアップグレードにどのように取り組んだかを説明します。
• 私たちは皆、Airflow を間違って使用しており、その修正方法 - Bluecore の Jessica Laughlin が、Airflow 設計に関連する 3 つのエンジニアリング上の問題と、2 つの設計パターンで KubernetesPodOperator を使用してそれらを解決する方法を紹介します。
• データ リネージュの概要 - Dailymotion の Germain Tanguy が、Apache Airflow に統合されたデータ リネージ プロトタイプを共有しています。
• データ エンジニア、データ アナリスト、データ サイエンティスト間のコラボレーション - Dailymotion の Germain Tanguy が、Apache Airflow と連携して本番環境で効率的にリリースする方法を共有しています。
• Amazon のコンテナ リポジトリで Apache Airflow の Docker Operator を使用する - Lucid の Brian Campbell が、AWS の ECR サービスと Airflow の DockerOperator を統合するためのヒントを紹介しています。
• Airflow: あまり知られていないヒント、コツ、ベスト プラクティス - Kaxil Naik が、Airflow の使用に関するあまり知られていないものの、非常に役立つヒントとベスト プラクティスについて説明しました。
• 境界層:宣言型エアフロー ワークフロー - Kevin McHale が、宣言型ワークフローでエアフロー DAG を生成するオープンソース プロジェクト境界層について説明しました。
• Airflow でのテスト パート 1 - Chandu Kavar が、Airflow でのさまざまなカテゴリのテストについて説明しました。これには、DAG 検証テスト、DAG 定義テスト、単体テストが含まれます。
• Airflow UI セキュリティの改善 - WePay の Joy Gao が、役割ベースのアクセス制御 (RBAC) の必要性と、それをどのように Airflow に導入したかについて詳しく説明します。
• インドで病気の発生を追跡するために Apache Airflow でワークフローを作成する方法 - Vinayak Mehta は、SocialCops がどのように Airflow を使用してインドの保健家族省を収集し、病気の発生の可能性に関する派生データを生成するかを詳しく説明します。
• エアフロー、メタデータ エンジニアリング、および世界最大の民主主義のためのデータ プラットフォーム - Vinayak Mehta は、DAG 生成を自動化するためのデータ エンジニアリング パターン (メタデータ エンジニアリング) の特定と、それが SocialCops がどのようにしてインドの国会議員と国家データ プラットフォームである DISHA を強化するのに役立ったかについて語ります。 MLA は 42 の国レベルの計画の進捗状況を監視しています。
• Airflow の使用中に学んだ教訓と Airflow パート 2: 学んだ教訓 - Nehil Jain は、ワークフロー スケジューラの価値、Airflow の作業中に発見したいくつかのベスト プラクティスと落とし穴をカバーする 2 部構成のシリーズを執筆しました。特に2番目の記事には制作のヒントがたくさん掲載されています。
• Robinhood が Airflow を使用する理由 - Vineet Goel は、金融取引プラットフォーム Robinhood が代替ワーク スケジューラではなく Airflow を選択した理由を説明します。
• Cron から Airflow への移行で学んだこと - Katie Macias が、VideoAmp のデータ エンジニアリングの cron から Airflow への移行について説明します。
• Under the Hood: Building AIR at Qubole - Sreenath Kamith と Rajat Venkatesh は、Airflow 上に Qubole のデータ検出、洞察、推奨プラットフォームを構築することについて書いています。
• エアフロー: 何も機能しないのはなぜですか? - TL;DR Airflow の SubDagOperator によってデッドロックが発生する (Jessica Laughlin 著) - 問題を診断する方法に関する優れたヒントとともに、問題のある Airflow DAG のトラブルシューティングについて詳しく説明します。
• 分散システムの外部スケジューラとしての Apache Airflow - Arunkumar は、分散システムの単純な外部スケジューラとして Airflow を使用することを提案しています。
• Sift が Apache Airflow を使用して数千のモデルをトレーニングする方法 - Sift Science の機械学習モデル パイプラインの導入戦略の概要。
• Pandora での Apache Airflow - Ace Haidrey が、Pandora が Airflow を選択した理由について説明し、その導入とその背後にあるインフラストラクチャの詳細な内訳を説明します。
• シカゴのデータ エンジニアリング最前線からの Airflow レッスン - Alison Stanton が、Airflow ジョブの落とし穴を回避するためのヒントのリストを提供します。
• データの地獄: Airflow による地獄のデータ テストの 7 つのサークル - ING のホールセール バンキング高度分析チームは、展開前に Airflow DAG を拷問テストする方法について詳しく説明します。
  • Airflow リポジトリを使用したデータ テスト
• データ品質チェッカー - Antoine Augusti は、データセットの完全性、一貫性、適時性、一意性、有効性、正確性をテストするために drivy が Airflow 上に構築したフレームワークについて説明します。
• BigQuery と Airflow を使用した WePay のデータ ウェアハウスの構築 - 計り知れない人物 Chris Riccomini が、Airflow を最初に採用した企業の 1 つである WePay がどのように Google Cloud Compute 環境に統合されたかを説明します。
• Apache Airflow を使用して公共部門のデータ インフラストラクチャを作成する - 残念ながら非常に重い売り込み文句にもかかわらず、この記事のブログ投稿では、非営利データ組織である ARGO Labs が公共部門データの ETL に Airflow をどのように利用しているかについて説明します。
• エアフローを使用した ETL - ETL のコア原則と、Kimball、Data Vault on Hive、およびいくつかのより単純な例を含む、いくつかのエンドツーエンドの Docker ベースの例。
• Apache Airflow を使用して BigQuery のデータを集約する方法 - Airflow と Google BigQuery を使用してデータスタジオ ダッシュボードを強化する方法の例。
• Twitter でのワークフローを使用した ML の運用 - Twitter がカスタム オペレーターや Airflow Web インターフェイスに埋め込まれたカスタム UI など、ML ワークフローに Airflow を使用する理由と方法に関する詳細な投稿。
• Lyft での Apache Airflow の実行 - Lyft が本番環境で Apache Airflow をどのように運用するか (監視、カスタマイズなど) の概要を説明します。
• Azure での Apache Airflow のデプロイによるデータ パイプラインの構築と実行 - Azure での Airflow の実行について説明します。
• The Zen of Python と Apache Airflow - Zen of Python を Airflow コードに適用する方法に関するブログ投稿。
• DAG レベル アクセスによる Apache Airflow UI の保護 - Airflow DAG レベル アクセスと Lyft の使用方法に関するブログ投稿。
• ダウンタイムなしで Airflow をアップグレードする - ダウンタイムなしで Airflow を展開する方法に関する詳細な記事。
• Apache Airflow を使用した運用レベルの ETL パイプライン プラットフォームの構築 - この投稿では、Cerner のシステム管理チームが Airflow をどのように使用しているかについて説明します。
• Kubernetes 上の最小限の Airflow (ローカル、EKS、AKS) - 最小限のセットアップでローカル Kubernetes、AWS EKS、および Azure AKS に Airflow をデプロイすることに関する記事。
• Airflow DAG モノリポジトリの分割 - この投稿では、S3 を介して複数の Git リポジトリから Airflow DAG の管理をサポートする方法について説明します。
• Apache Airflow Scheduler のパフォーマンスの向上 - Databand によって DAG 解析時間を 10 倍高速化できる冒険の物語
• SSENSE が Apache Airflow を使用して AWS でデータ リネージを実行する方法 - Apache Arflow を使用して AWS でのデータ レイクの設計と管理の基本的なテーマを探ります。
• Prometheus、StatsD、Grafana を使用した Airflow のモニタリング - データバンドによって運用ダッシュボードを運用クラスターに設定し、Airflow の高レベルの可視性を取得する方法に関するガイド。
• Hurb での Apache Airflow を使用した複雑なタスクのオーケストレーション - この投稿では、Hurb が Apache Airflow を使用して複雑なタスクをオーケストレーションする方法と、DAG の動的作成を活用して開発速度を向上させる方法を示します。
• Apache Airflow を使用した CrateDB から S3 へのデータ エクスポートの自動化 Amazon S3 への定期的なデータ エクスポートなど、Apache Airflow を使用して CrateDB での反復クエリを自動化する方法に関するチュートリアル。
• CrateDB と Apache Airflow を使用したデータ保持ポリシーの実装 CrateDB と Apache Airflow を使用して効果的なデータ保持ポリシーを実装する方法に関するステップバイステップのチュートリアル。
• S3 から CrateDB への NYC タクシー データの取り込み - CSV ファイルを S3 から CrateDB にロードすることで、Airflow でデータベース取り込みパイプラインを構築する方法について説明します。

本、ブログ、ポッドキャストなど

• Data Pipelines with Apache Airflow - Airflow に関するマニングの本 (2019 年 9 月早期アクセス)。
• Airflow ポッドキャスト - Airflow に関するあらゆることを議論する準定期的なポッドキャストです。
• Maxime Beauchemin - Apache Airflow の背後にある哲学についての洞察を提供する Maxime のブログ。
• Robert Chang - Apache Airflow を使用したデータ エンジニアリングに関するブログ投稿で、その理由が説明され、コードの例が示されています。
• Kubernetes Executor を使用した Airflow ログの処理 - KubernetesExecutor を使用するときに、複雑なインフラストラクチャを作成せずにリモート S3 ログを設定する方法を概説するブログ投稿。
• Airflow 2.0: DAG オーサリングの再設計 - Airflow 2.0 で DAG を記述する新しい方法に関するブログ投稿。
• Airflow 2.0 プロバイダー - Airflow 2.0 のプロバイダー パッケージに関するブログ投稿。

スライドデッキのプレゼンテーションとオンラインビデオ

• 2020 年 2 月: Apache Airflow @ Umuzi.org - Sheena O'Connell が、南アフリカを拠点とする技術ブートキャンプ Umuzi が Airflow をどのように使用しているかについて説明します。
• Apache Airflow YouTube チュートリアル - Marc Lamberti は、Airflow の概念、構成、展開の多くの側面をカバーする一連の YouTube チュートリアルを作成しました。
• Apache Airflow を使用した高度なデータ エンジニアリング パターン - Maxime Beauchemin の講演のビデオ。Airflow を簡単に紹介し、その後、セルフサービス SQL クエリ、A/B テスト メトリクス フレームワークの構築、すべて Airflow を介した機械学習機能の抽出など、より高度なユース ケースについて説明します。スライドはここから個別に入手できます。
• Apache Airflow を使用した最新のデータ パイプライン - Momentum Dev Con 2018 で Astronomer.io の Taylor Edmiston と Andy Cooper が行った、Airflow、カスタム コンポーネント、サンプル DAG、および Astronomer Airflow CLI の使用開始に関する講演。
• Apache Airflow を使用したより良いデータ パイプラインの構築 - QCon 18 での Sid Anand の講演のスライドで、Airflow とそのアーキテクチャの詳細な概要が説明されています。
• Astronomer での Airflow と Spark Streaming - Astronomer が動的 DAG を使用して Airflow で Spark Streaming ジョブを実行する方法。
• クラウドでの Apache Airflow: Python を使用したプログラムによるワークロードのオーケストレーション - Airflow の基本と Google Cloud Platform (GCP) でワークロードをオーケストレーションする方法を紹介する、PyData London 18 での Kaxil Naik と Satyasheel の講演のスライド。
• Apache Airflow を使用した Python コードでのエレガントなワークフローの開発 - Europython の Michał Karzyński が、ワークフロー マネージャー、DAG、オペレーターの役割を含む Airflow の概念を簡単に紹介します。リンクにはビデオとスライドの両方が含まれています。
• データ パイプライン管理 - Ben Goldberg が Chicago Kubernetes Meetup で SpotHero による Airflow の使用方法について説明します。さらに、Ben は Kubernetes 内で Airflow がどのように機能するかを示す非常に完全なスライドデッキを持っています。
• Airflow を使用したタイムトラベル、またはデータ パイプラインとスケジューリングをどのように学んだか - Airflow が必要な理由と Industry Dive での使用方法に関する Laura Lorenz による包括的な資料。
• Apache Airflow の紹介 - Data Day Seattle 2016 - Sid Anand が、Airflow とそれが Agari でどのように使用されたかを徹底的に紹介します。
• Airflow を使用したデータ パイプラインの運用 - Airflow Meetup April-2018 - Ananth Packkildurai が、Airflow Local Executor のスケーリングと、Slack でデータ パイプラインを運用するためのベスト プラクティスについて語ります。
• WePay での Apache Airflow - Chris Riccomini が、WePay が Airflow を選択した理由について説明し、その導入とその背後にあるインフラストラクチャの詳細な内訳を説明します。
• Apache Airflow を使用したエレガントなデータ パイプライン - PyData Amsterdam 2018 での Bolke de Bruin と Fokko Driesprong による、Airflow を使用した ETL を明確にする方法論についての講演。
• Airflow @ Lyft - 実稼働環境で実行中の Airflow を Lyft がどのように監視するかについて、SF ビッグ データ分析ミートアップで Tao Feng が講演します。
• Airflow と Kubernetes による管理可能なデータ パイプライン - Jarek Potiuk と Szymon Przedwojski による講演。 GDG Warsaw DevFest 2018 での Airflow の紹介講演。
• Apache Oozie ワークフローから Apache Airflow への移行 - Oozie から Airflow への移行ツールについて、2018 年 6 月の Airflow Bay Area Meetup で Szymon Przedwojski が講演しました。
• Apache Airflow を使用したデータ レイクの構築 - すべてのデータ フローを管理するウェブ内のスパイダーとしての Apache Airflow を使用したデータ レイクの構築について、アムステルダム Apache Airflow 2018 年 9 月ミートアップで Bas Harenslak と Julian de Ruiter が講演します。
• 最初のワルシャワ Apache Airflow ミートアップ - 2019 年 10 月にワルシャワで開催された最初の Apache Airflow ミートアップのライブ ストリーミング録画。
• Apache Airflow 2.0 の今後の内容 - 2020 年 5 月 13 日のオンライン NYC Meetup での Ash Berlin-Taylor、Kaxil Naik、Jarek Potiuk、Kamil Breguła、Daniel Imbermann、Tomek Urbaszek による共同講演
• Airflow Breeze - Apache Airflow の開発およびテスト環境 - Jarek Potiuk による Breeze 環境の使用方法を示すスクリーンキャスト。

ライブラリ、フック、ユーティリティ

• Domino - Domino は、コードなしで視覚的に直感的なドラッグ アンド ドロップ アクションでデータと機械学習ワークフロー (DAG) を作成するためのオープンソース グラフィカル ユーザー インターフェイス プラットフォームです。また、Python コードを公開および共有するための標準でもあるため、誰でも GUI で直接自動的に使用できます。
• Airflow-Helper - YAML 構成ファイルから Airflow 変数、接続、およびプールを設定します。
• AirFly - Airflow の dag.py をオンザフライで自動生成します。
• DEAfrica Airflow - アフリカの衛星画像を利用する人道的取り組みである Digital Earth Africa によって使用される Airflow ライブラリ。
• Airflow プラグイン - mailchimp、trello、sftp、GitHub など、Airflow 用のさまざまなプラグインの中央リポジトリのコレクション。
• fileflow - ローカル ファイル システムまたは S3 を介した Airflow オペレーター間の大規模なデータ転送をサポートするモジュールのコレクション。これは、データが XCOM には大きすぎるが、オペレーターに直接ロードするには小さすぎるか不便であるというギャップに対処します。インダストリーダイブによって構築されました。
• Fairflow - データをあるオペレーターから別のオペレーターに変換する機能部分を備えた Airflow のオペレーターを抽象化するライブラリー。
• airflow-maintenance-dags - Clairvoyant には、Airflow 自体を操作して、バッキング メタデータ ストアのさまざまなビットをクリアする Airflow DAG のリポジトリがあります。
• test_dags - DAG 整合性テストのためのより完全なソリューション (最初は Circle of Data の Inferno です。
• dag-factory - YAML 構成ファイルから Apache Airflow DAG を動的に生成するためのライブラリ。
• whirl - Apache Airflow ワークフローの高速反復ローカル開発とテスト。
• airflow-code-editor - ブラウザーで DAG を編集できるようにする Apache Airflow のプラグイン。
• Pylint-Airflow - Airflow コードの静的コード分析のための Pylint プラグイン。
• afctl - エアフロー プロジェクトをより迅速かつスムーズに作成、管理、展開するために必要なすべてが含まれた CLI ツールです。
• Dag 依存関係ビューア - Airflow DAG 間の依存関係を視覚化するビューを作成するプラグイン
• Airflow ECR プラグイン - AWS ECR ログイン トークンを定期的に更新するプラグイン。これは、DockerOperator が ECR でホストされているイメージをプルする必要がある場合に役立ちます。
• AirflowK8sDebugger - KubernetesPodOperator を使用して Airflow DAG から k8s ポッド yaml テンプレートを生成するためのライブラリです。
• Oozie から Airflow - Apache Oozie ワークフローと Apache Airflow ワークフローの間で簡単に変換するツール。
• Airflow 同上 - Airflow DAG に変換を実行し、それを元の DAG とフロー同型の別の DAG に変換して、異なる環境 (たとえば、異なるクラウド、または異なるコンテナ フレームワークなど) で実行できるようにする拡張可能なフレームワーク - YARN と Kubernetes の Apache Spark)。 EMR から HDInsight-DAG への変換をすぐに使用できるサポートが付属しています。
• gusty - DAG 内の個々のタスクを表す YAML、Python、Jupyter Notebook、または R Markdown ファイルを任意の数使用して DAG を作成します。 gusty は、依存関係、DAG、タスク グループ、ローカル オペレーターのサポート機能なども構成します。完全にコンテナ化されたデモはここから入手できます。
• Meltano - オープン ソース、セルフホスト、CLI ファースト、デバッグ可能、拡張可能な ELT ツールで、抽出と読み込みに Singer を採用し、変換に dbt を活用し、オーケストレーションのために Airflow と統合します。
• DAG チェック - DAG チェックは、Apache Airflow インスタンスの保守に役立つチェックで構成されます。
• Airflow DVC プラグイン - データ サイエンスおよび機械学習パイプライン用のオープンソース バージョン管理システムのプラグイン - DVC。
• Airflow Vars - 変数管理用の CLI で、堅牢かつ安全な変数管理を可能にするために CD-Pipelines 用に作成されました。
• airflow-priority - Datadog、New Relic、Slack、Discord などへの自動アラートを備えた Airflow DAG の優先タグ (P1、P2 など)
• airflow-config - DAG およびタスク引数用の Pydantic / Hydra ベースの構成システム
• airflow-supervisor - 長時間実行または「常時オン」の DAG 向けの使いやすいスーパーバイザー統合

交流会

• アムステルダム Apache Airflow ミートアップ
• バンガロール Apache Airflow ミートアップ
• ベイエリア Apache Airflow ミートアップ
• ロンドン Apache Airflow ミートアップ
• メルボルン Apache Airflow ミートアップ
• ニューヨーク市の Apache Airflow ミートアップ
• パリの Apache Airflow ミートアップ
• ポートランド Apache Airflow ミートアップ
• 東京 Apache Airflow ミートアップ
• ワルシャワ Apache Airflow ミートアップ

商用 Airflow-as-a-service プロバイダー

• Google Cloud Composer - Google Cloud Composer は、Google Cloud と Airflow 上に構築されたマネージド サービスです。
• Qubole - Qubole は主に Apache Hive のサービスおよびサポート会社として知られていますが、プラットフォームのコンポーネントとして Airflow も提供しています。
• Astronomer.io - Astronomer は完全な ETL ライフサイクル ソリューションを提供しており、Airflow ベースの製品の提供に専念しているようです。
• AWS MWAA - Apache Airflow 用の Amazon マネージド ワークフロー (MWAA) は、Apache Airflow のマネージド オーケストレーション サービスで、クラウド内でのエンドツーエンドのデータ パイプラインの大規模なセットアップと運用を容易にします。

Cloud Composer のリソース

このセクションには、Apache Airflow に基づいて Google Cloud によって構築されたサービスである Cloud Composer に適用される記事が含まれています。ここでは、Cloud Composer を対象としたトリックと解決策について説明しますが、バニラ Airflow にも適用できる可能性があります。

• Google Cloud Composer で自動スケーリングを有効にする - アイドル期間中のコストを節約しながら、Cloud Composer デプロイメントを大幅に強化します。
• ビジネスに合わせて Composer 環境を拡張します - Celery Executor アーキテクチャと高いスケジューラ パフォーマンスを確保する方法。
• pianka.sh - gcloud ツールにコマンドがありません。このツールは、いくつかの管理タスクを容易にします。
• GKE 上の Composer の Airflow Scheduler を使用したよりスマートなスケーリング方法 - Roy Berkowitz が、Cloud Composer サービスでのノードのより効果的な使用について説明します。
• より良い連携: Cloud Composer を使用した Data Fusion パイプラインのオーケストレーション - Rachael Deacon-Smith が、Cloud Composer での Datafusion ユースケースのオペレーターの概要を提供します。

英語以外のリソース

• Airflow ドキュメント - 中国語 - (??中国語) Apachecn は Airflow 公式ドキュメントを翻訳しました。
• Gestion de Tâches avec Apache Airflow - (??フランス語) Nicolas Crocfer - Airflow、基本概念、DAG の作成方法とトリガー方法の概要。
• Airflow はすごいぞ！100 行未満で本格的なデータ パイプライン - (??日本語) Hank Ehly が Airflow の主な概念を包括的に紹介し、100 行未満のコードでデータ パイプラインを作成する方法を示します。
• apache airflow 複数ワーカー構成の alpine 版 docker イメージを作った - (??日本語) Akio Ohta が、Alpine ベースの Airflow システムを展開するための Docker イメージについて説明します。
• Airflow のタスクログを S3 に保存する方法 - (??日本語) Hank Ehly が、タスク ログを AWS S3 に送信するように設定する方法を段階的に示します。
• 【徹底解説】Airflow Fluentd Elasticsearch Docker の連携方法 - (??日本語) Hank Ehly が、Fluentd、Elasticsearch、Docker を使用してワーカーのタスク ログを処理する方法を説明します。
• Apache Airflow – Kaikki Mitä Meil​​lä On、Lähtee Dageista - (??フィンランド語) Olli Iivonen による Airflow、概念、Solita での Airflow の使用法に関する概要。
• Airflow - Automatizando seu fluxo de trabalho - (??ポルトガル語) Gilson Filho による Airflow の概要、コンセプト、基本的な使用法。
• Panduan Dasar Apache Airflow - (??インドネシア語) Imam Digmi - Airflow の概要、コンセプト、基本的な使用法とユースケース。
• Airflow - (??ベトナム語) Duyet Le - Airflow の概要、コンセプト、基本的な使用法とユースケース。
• Michael Yang の Airflow 中国語ブログ投稿 - Apache Airflow を使用したデータ エンジニアリングに関する Michael Yang の中国語ブログ投稿では、基本的なチュートリアルと Devops スキルを終了します。

サンプルプロジェクト

• Google Cloud Platform 公開データセット パイプライン - Google Cloud 公開データセット プログラムにデータセットをオンボーディングするためのクラウドネイティブのデータ パイプライン アーキテクチャ。
• GitLab データ チーム DAG - GitLab プラットフォームの分析を構築するために使用されるいくつかの DAG。
• deploy-airflow-on-ecs-fargate - Amazon ECS Fargate にデプロイします。ワーカーのゼロへの自動スケーリング、S3 リモート ロギング、シークレット管理など、さまざまな機能と構成を示します。

ライセンス

法律に基づいて可能な範囲で、ヤコブ・ホーマンはこの作品に対するすべての著作権および関連または隣接する権利を放棄します。