awesome apache airflow

تدفق هواء أباتشي رائع

هذه قائمة منسقة بالموارد حول Apache Airflow. لا تتردد في المساهمة بأي من العناصر التي ينبغي تضمينها. تتم إضافة العناصر عمومًا في أعلى كل قسم بحيث يتم عرض المزيد من العناصر الجديدة بشكل أكثر بروزًا.

محتويات

• روابط حيوية
• حلول نشر تدفق الهواء
• مقدمات ودروس
• فيديوهات قمة تدفق الهواء 2020
• أفضل الممارسات والدروس المستفادة وحالات الاستخدام الرائعة
• الكتب والمدونات والبودكاست وما إلى ذلك
• عروض الشرائح ومقاطع الفيديو عبر الإنترنت
• المكتبات، الخطافات، المرافق
• لقاءات
• مزودو تدفق الهواء التجاري كخدمة
• موارد المؤلف السحابي
• موارد غير الإنجليزية

روابط حيوية

• كود المصدر (أحدث إصدار مستقر 1.10.12)
• التوثيق (أيضا الموقع الرسمي)
• صفحة التقاء
• مساحة عمل متراخية

حلول نشر تدفق الهواء

• تثبيت Airflow على IBM Cloud - النشر السريع والسهل على IBM Cloud باستخدام مخططات IBM Bitnami
• ثلاث طرق لتشغيل Airflow على Kubernetes - يستعرض تيم فان دي كير عدة طرق لنشر Airflow على Kubernetes.
• النشر المجاني متعدد الطبقات لـ Apache Airflow على Azure - قالب مجاني لإدارة موارد Azure (ARM) من Bitnami يوفر حلاً بنقرة واحدة لنشر Airflow على Azure لحالات استخدام الإنتاج.
• مخطط KubernetesExecutor Helm - مخطط Helm بسيط باستخدام KubernetesExecutor للحصول على تجربة أصلية أكثر لـ k8s وصورة KubernetesExecutor Docker التكميلية.
• مخطط خوذة الكرفس المستقر - مخطط خوذة الكرفس المنسق في مستودع الرسم البياني المستقر الرسمي.
• صورة Puckel's Docker - أصبحت صورة Docker @Puckel_ المصممة جيدًا هي الأساس للعديد من عمليات تثبيت Airflow. يتم تحديثه بانتظام ويتتبع عن كثب إصدارات Apache الرسمية.
• مشغل Kubernetes المخصص لنشر تدفق الهواء - وحدة تحكم Kubernetes المخصصة (وتسمى أيضًا نمط المشغل) لنشر تدفق الهواء على Kubernetes.
• خط أنابيب تدفق الهواء - حاوية Airflow Docker التي تم تكوينها مسبقًا لـ Spark وHadoop. يمكن سحبه من عامل الإرساء عند datagovsg/airflow-pipeline .
• aws-airflow-stack - نشر مجموعة Airflow المستندة إلى AWS باستخدام CeleryExecutor. يتم النشر بعد بضع نقرات باستخدام CloudFormation.
• kube-airflow - يحتوي هذا المستودع على صورة Airflow Docker (التي يبدو أنها تستند إلى عمل Puckel) وتعريف خدمة Kubernetes. لم يتم تحديث مستودع mumoshu مؤخرًا، ولكن هناك العديد من التشعبات التي قد تعتمد على الإصدارات الأحدث.
• airflow-on-kubernetes - دليل حول جميع الموارد والبرامج النصية والمشاريع ذات الصلة التي تتعلق بتشغيل Airflow على Kubernetes.
• airflow-k8s-executor-on-GKE - برنامج تعليمي مفصل للحصول على بيئة تنفيذية قابلة للتطوير ومنخفضة الصيانة لتدفق الهواء kubernetes منتشرة على Google Kubernetes Engine مع الدفة.
• كتاب طبخ تدفق الهواء - كتاب طبخ الشيف لنشر تدفق الهواء.
• تشغيل Airflow أعلى Apache Mesos - مدونة تصف كيفية تكوين Mesos لتشغيل كافة مكونات Airflow.
• دمج Apache Airflow مع Apache Ambari - يشرح Mykola Mykhalov كيفية استخدام Apache Ambari لتكوين مثيل Airflow ونشره.
• منصة الفلكي - Apache Airflow كخدمة على Kubernetes. لمزيد من المعلومات قم بزيارة https://www.astronomer.io.
• صورة Bitnami Airflow Docker - صورة إرساء آمنة ومحدثة لـ Airflow تحتفظ بها Bitnami.
• صورة Bitnami Airflow Scholer Docker - صورة عامل إرساء آمنة ومحدثة لبرنامج Airflow Scholer الذي تحتفظ به Bitnami.
• صورة Bitnami Airflow Worker Docker - صورة عامل إرساء آمنة ومحدثة لـ Airflow Worker التي تحتفظ بها Bitnami. يتوفر نشر عامل الإرساء CeleryExecutor هنا.
• توزيع ونشر Apache Airflow عبر ملفات Python PEX - مثال على الريبو مع خطوات لتجميع Apache Airflow وتوزيعه ونشره كملفات PEX.
• تقديم KEDA لـ Airflow - كيفية استخدام نظام مقياس KEDA لتمكين القياس التلقائي لعمال الكرفس بناءً على البيانات المخزنة في قاعدة بيانات بيانات تعريف Airflow.
• مكون تدفق الهواء - أداة تثبيت خفيفة الوزن للهندسة المرجعية لتدفق الهواء وتدفق الهواء (RabbitMQ) الموحد على عقدة (عقد) الحساب.

مقدمات ودروس

• مقاييس مراقبة تدفق الهواء من Apache - سلسلة من جزأين بواسطة maxcotec حول كيفية استخدام مقاييس Airflow statsd الحالية لمراقبة نشر تدفق الهواء على لوحة معلومات Grafana عبر Prometheus. تعرف أيضًا على كيفية إنشاء مقاييس مخصصة.
• مقدمة إلى Airflow - سلسلة تعليمية على الويب من maxcotec للمبتدئين والمستخدمين المتوسطين لـ Apache Airflow.
• ETL مع Apache Airflow لتحليل البيانات المتعلقة ببيانات المعاملات. يغطي Kimaru Thagana حالة عملية لإجراء عملية ETL باستخدام Apache Airflow باستخدام بيانات المعاملات والمستخدم والمنتج الخاصة بمتجر التجارة الإلكترونية الوهمي. يتم تقديم البيانات عبر قارورة API.
• ابدأ في بناء خطوط أنابيب بيانات أفضل باستخدام Apache Airflow 2020-Oct - يغطي Naman Gupta أساسيات Airflow ومفاهيمه.
• قالب مستودع تدفق الهواء - مستودع نموذجي للتطوير محليًا باستخدام تدفق الهواء، مع الفحص والاختبارات لـ DAGs والمكونات الإضافية الصالحة. ما عليك سوى استنساخ وتشغيل make start-airflow للبدء! أضف بعض وظائف CI لنشر التعليمات البرمجية الخاصة بك، وبذلك تكون قد انتهيت.
• كيف يقوم Apache Airflow بتوزيع الوظائف على العاملين في Celery - وصف مختصر للخطوات التي اتخذتها نسخة المهمة، من الجدولة إلى النجاح، في بنية موزعة.
• إرسال شرارة عن بعد إلى YARN الذي يعمل على EMR - يسير Azhaguselvan عبر إرسال وظائف Spark إلى مجموعات EMR الحالية باستخدام Airflow.
• يعد تشغيل Airflow أعلى Apache Mesos ومتابعته، Mesos وAirflow & Docker بواسطة Agraj Mangal نظرة عامة سريعة على تشغيل Airflow فوق Apache Mesos.
• كتب Dustin Stansbury من Quizlet سلسلة من أربعة أجزاء تغطي ما يفعله مديرو سير العمل بشكل عام، وكيف اختار Quizlet Airflow، وهي جولة حول مفاهيم Airflow الأساسية، وكيف يستخدم Quizlet الآن Airflow عمليًا:
  • ما بعد CRON: مقدمة لأنظمة إدارة سير العمل
  • لماذا اختار Quizlet Apache Airflow لتنفيذ عمليات سير عمل البيانات
  • فهم المفاهيم الأساسية لـ Apache Airflow
  • كيف يستخدم Quizlet Apache Airflow عمليًا
• دمج Apache Airflow مع Databricks - بينما يركز هذا البرنامج التعليمي بشكل خاص على حلول Spark من Databricks، فإنه يحتوي على نظرة عامة معقولة على أساسيات Airflow ويوضح كيف يمكن لحل طرف ثالث أن يتكامل بسرعة في Airflow.
• البرنامج التعليمي لـ Apache Airflow 2.0 - تناقش هذه المقالة المفاهيم الأساسية التي تقف وراء Airflow وتناقش المشكلات التي يحلها.
• اختبار وتصحيح Apache Airflow - مقالة تشرح كيفية تطبيق اختبار الوحدة والاستهزاء والتصحيح على كود Airflow.
• ابدأ في تطوير مسارات العمل باستخدام Apache Airflow - يغطي هذا البرنامج التعليمي التمهيدي الموجز كيفية إنشاء خط أنابيب البيانات ومعالجة سير العمل باستخدام DAG، والمشغلين، وأجهزة الاستشعار، باستخدام Xcoms للتواصل بين المشغلين.
• ابدأ مع Airflow + Google Cloud Platform + Docker - مقدمة خطوة بخطوة بقلم Jayce Jiang.
• كيفية تطوير خط أنابيب البيانات في Airflow من خلال TDD (التطوير القائم على الاختبار) - تعرف على كيفية إنشاء خط أنابيب بيانات المبيعات باستخدام TDD خطوة بخطوة وفي النهاية كيفية تكوين سير عمل CI بسيط باستخدام Github Actions.

فيديوهات قمة تدفق الهواء 2020

عُقدت قمة Airflow 2020 الأولى في يوليو 2020. لقد كان حدثًا عالميًا بالكامل عبر الإنترنت وشارك في استضافته 9 لقاءات Airflow من جميع أنحاء العالم (ملبورن وطوكيو وبنغالور ووارسو وأمستردام ولندن ونيويورك وBayArea ).

وتضمنت أكثر من 40 محاضرة وثلاث ورش عمل. يمكنك التحقق من تسجيلات المحادثات كقائمة تشغيل YouTube Airflow Summit 2020 أو مشاهدة المحادثات الفردية هنا:

• الكلمة الرئيسية: تدفق الهواء آنذاك والآن
• المجدول كخدمة - Apache Airflow في EA Digital Platform
• الكلمة الرئيسية: كيف تستخدم الشركات الكبيرة Airflow لخطوط أنابيب ML وETL
• DAGs البيانات مع النسب من أجل المتعة والربح
• تدفق الهواء على Kubernetes: تعبئة سير العمل الخاص بك في حاويات
• تدفق البيانات مع Airflow @ PayPal
• إضفاء الطابع الديمقراطي على سير عمل البيانات على نطاق واسع
• ترحيل وظائف Spark المستندة إلى Airflow إلى Kubernetes - بالطريقة الأصلية
• الكلمة الرئيسية: مستقبل تدفق الهواء
• قم بتشغيل Airflow DAGs بطريقة آمنة
• الكلمة الرئيسية: جعل تدفق الهواء مشروعًا مستدامًا من خلال التنوع والشمول
• تدفق الهواء CI/CD: Github إلى Cloud Composer (بأمان)
• مجموعة Apache Superset المتقدمة لمهندسي البيانات
• العرض التوضيحي: تقليل الخطوط، محرر DAG المرئي
• AIP-31: تعريف DAG الوظيفي لتدفق الهواء
• القيادة الذاتية مع تدفق الهواء
• من cron إلى Airflow على Kubernetes: قصة بدء التشغيل
• تحقيق إمكانية ملاحظة تدفق الهواء
• التعلم الآلي مع تدفق الهواء أباتشي
• تدفق الهواء: شخصية وحشية في عالم الألعاب
• التبعية الفعالة عبر DAG
• ما علمتنا المصادر المفتوحة عن الأعمال
• التسلسل الهرمي لهندسة البيانات للاحتياجات
• بناء خطوط أنابيب ELT قابلة لإعادة الاستخدام وجديرة بالثقة (نهج مقولب)
• اختبار سير عمل تدفق الهواء - التأكد من عمل DAGs قبل الدخول في الإنتاج
• إضافة منفذ إلى Airflow: استثناء تجاوز سعة المساهم
• الهجرة إلى موفري Airflow backport
• من الصفر إلى تدفق الهواء: تمهيد منصة ML
• تدفق الهواء هو التطابق المثالي في خط أنابيب التحليلات لدينا
• تدفق الهواء في Société Générale: حل تنسيق مفتوح المصدر في بيئة مصرفية
• تدفق الهواء هو الجيل التالي من نظام سير العمل في Pinterest
• تحسين تجربة مستخدم Airflow
• تعليم DAG القديم حيل جديدة
• اسألني أي شيء مع أعضاء Airflow
• استخدام Airflow لتسريع تطوير الأدوات المكثفة للبيانات
• خطوط الأنابيب على خطوط الأنابيب: سير عمل Agile CI/CD لـ Airflow DAGs
• صورة Docker للإنتاج لـ Apache Airflow
• تدفق الهواء كأداة ETL مرنة
• كيف نفكر في موثوقية خط أنابيب البيانات الخاص بنا في Wrike
• تحقيق إمكانية مراقبة تدفق الهواء باستخدام Databand
• من S3 إلى BigQuery - كيف نجح مستخدم Airflow لأول مرة في تنفيذ مسار بيانات

أفضل الممارسات والدروس المستفادة وحالات الاستخدام الرائعة

• كيفية استخدام DuckDB بشكل أفضل مع Apache Airflow - نصائح حول دمج DuckDB في وظائف Airflow.
• إدارة حزم Airflow Dag Python - يمكن أن تصبح إدارة تبعيات حزمة python عبر أكثر من 100 يوم أمرًا مؤلمًا. من الصعب تتبع الحزم التي يتم استخدامها وفي أي يوم، ويصعب تنظيفها أثناء إزالة/ترقية DAG. تعرف على كيفية قيام KubernetesPodOperator وDockerOperator بإصلاح هذه المشكلة.
• إدارة تدفق الهواء والإصدار - إدارة عملية إصدار DAG بكفاءة باستخدام وحدات Git الفرعية
• الاختبار في تدفق الهواء الجزء 2 - قام تشاندو كافار وسارانج شيندي بشرح اختبارات التكامل واختبارات خطوط الأنابيب الشاملة.
• ترقية وتوسيع نطاق تدفق الهواء في Robinhood - يصف أبيشيك راي كيف تعاملت Robinhood مع ترقية تدفق الهواء الخاص بإنتاجها مع تقليل وقت التوقف عن العمل.
• نحن جميعًا نستخدم Airflow بشكل خاطئ وكيفية إصلاحه - تشارك Jessica Laughlin من Bluecore ثلاث مشكلات هندسية مرتبطة بتصميم Airflow وكيفية حلها باستخدام KubernetesPodOperator في نمطين للتصميم.
• البدء باستخدام Data Lineage - يشارك Germain Tanguy من Dailymotion نموذجًا أوليًا لنسب البيانات مدمجًا في Apache Airflow.
• التعاون بين مهندسي البيانات ومحللي البيانات وعلماء البيانات - يشارك Germain Tanguy من Dailymotion كيفية الإصدار بكفاءة في الإنتاج من خلال التعاون مع Apache Airflow.
• استخدام مشغل Docker الخاص بـ Apache Airflow مع مستودع حاويات Amazon - لدى Brian Campbell من Lucid نصائح لدمج خدمة ECR الخاصة بـ AWS مع DockerOperator الخاص بـ Airflow.
• تدفق الهواء: النصائح والحيل وأفضل الممارسات الأقل شهرة - شرح Kaxil Naik النصائح الأقل شهرة ولكنها مفيدة للغاية وأفضل الممارسات حول استخدام Airflow.
• الطبقة الحدودية: مسارات عمل تدفق الهواء التعريفي - شرح كيفن ماكهيل الطبقة الحدودية لمشروع مفتوح المصدر والتي تولد تدفق الهواء مع سير العمل التعريفي.
• اختبار تدفق الهواء الجزء 1 - شرح شاندو كافار فئات مختلفة من الاختبارات في تدفق الهواء. ويشمل اختبارات التحقق من صحة DAG، واختبارات تعريف DAG، واختبارات الوحدة.
• تحسين أمان واجهة مستخدم تدفق الهواء - قامت Joy Gao من WePay بتفكيك الحاجة إلى عناصر التحكم في الوصول المستندة إلى الأدوار (RBAC) وكيف قدمتها إلى Airflow.
• كيفية إنشاء سير عمل في Apache Airflow لتتبع تفشي الأمراض في الهند - يوضح فيناياك ميهتا كيف تستخدم SocialCops Airflow لاستخلاص بيانات وزارة الصحة وشؤون الأسرة الهندية لتوليد بيانات مشتقة حول تفشي الأمراض المحتملة.
• تدفق الهواء، وهندسة البيانات الوصفية، ومنصة البيانات لأكبر ديمقراطية في العالم - يتحدث فيناياك ميهتا عن تحديد أنماط هندسة البيانات (هندسة البيانات الوصفية) لأتمتة إنشاء DAG وكيف ساعد ذلك SocialCops على تشغيل DISHA، وهي منصة بيانات وطنية حيث يجتمع النواب الهنود و تقوم MLAs بمراقبة التقدم المحرز في 42 مخططًا على المستوى الوطني.
• الدروس المستفادة أثناء تدفق الهواء وتدفق الهواء الجزء 2: الدروس المستفادة - كتب نيهيل جاين سلسلة من جزأين تغطي قيمة جدولة سير العمل، وبعض أفضل الممارسات والمزالق التي وجدها أثناء العمل مع Airflow. المقالة الثانية على وجه الخصوص تتضمن العديد من النصائح المتعلقة بالإنتاج.
• لماذا يستخدم Robinhood Airflow - يشرح Vineet Goel سبب اختيار منصة التداول المالي Robinhood لـ Airflow بدلاً من برامج جدولة العمل البديلة.
• ما تعلمناه من الترحيل من Cron إلى Airflow - تصف كاتي ماسياس رحلة هندسة البيانات في VideoAmp من cron إلى Airflow.
• تحت الغطاء: بناء AIR في Qubole - يكتب سريناث كاماث وراجات فينكاتيش عن بناء منصة اكتشاف البيانات والرؤى والتوصيات الخاصة بـ Qubole فوق Airflow.
• تدفق الهواء: لماذا لا يعمل شيء؟ - TL؛ DR Airflow's SubDagOperator يسبب طريقًا مسدودًا بقلم Jessica Laughlin - تعمق في استكشاف أخطاء Airflow DAG المزعجة وإصلاحها مع نصائح جيدة حول كيفية تشخيص المشكلات.
• Apache Airflow كمجدول خارجي للأنظمة الموزعة - يقترح Arunkumar استخدام Airflow كمجدول خارجي بسيط لنظام موزع.
• كيف تقوم Sift بتدريب آلاف النماذج باستخدام Apache Airflow - ملخص لاستراتيجية نشر Sift Science لخطوط أنابيب نماذج التعلم الآلي الخاصة بها.
• Apache Airflow في Pandora - يناقش Ace Haidrey سبب اختيار Pandora لـ Airflow ويقدم تحليلاً تفصيليًا لنشرها والبنية التحتية التي تقف وراءها.
• دروس تدفق الهواء من جبهة هندسة البيانات في شيكاغو - توفر أليسون ستانتون قائمة من النصائح لتجنب الأخطاء في وظائف تدفق الهواء.
• جحيم البيانات: 7 دوائر من البيانات تختبر الجحيم مع تدفق الهواء - يشرح فريق التحليلات المتقدمة للخدمات المصرفية بالجملة في ING كيفية تعذيبهم لاختبار تدفق الهواء DAGs قبل النشر.
  • اختبار البيانات باستخدام مستودع تدفق الهواء
• أدوات فحص جودة البيانات - يصف أنطوان أوغستي إطار العمل الذي تم بناؤه على قمة Airflow لاختبار مجموعات البيانات الخاصة بهم للتأكد من اكتمالها واتساقها وحسن توقيتها وتفردها وصلاحيتها ودقتها.
• بناء مستودع بيانات WePay باستخدام BigQuery وAirflow - يصف كريس ريكوميني الذي لا يقدر بثمن كيف تم دمج WePay، أحد أوائل مستخدمي Airflow، في بيئة Google Cloud Compute الخاصة بهم.
• استخدام Apache Airflow لإنشاء بنية تحتية للبيانات في القطاع العام - على الرغم من شدة المبيعات للأسف، يصف منشور المدونة هذا كيف تستخدم ARGO Labs، وهي منظمة بيانات غير ربحية، Airflow لـ ETLing في بيانات القطاع العام.
• ETL مع تدفق الهواء - المبادئ الأساسية لـ ETL والعديد من الأمثلة المستندة إلى عامل الإرساء الشامل بما في ذلك Kimball وData Vault on Hive وبعض الأمثلة الأبسط.
• كيفية تجميع البيانات لـ BigQuery باستخدام Apache Airflow - مثال لكيفية استخدام Airflow مع Google BigQuery لتشغيل لوحة معلومات Data Studio.
• إنتاج ML باستخدام مسارات العمل على Twitter - منشور متعمق حول سبب وكيفية استخدام Twitter لـ Airflow لسير عمل ML بما في ذلك تضمين عوامل تشغيل مخصصة وواجهة مستخدم مخصصة مضمنة في واجهة ويب Airflow.
• تشغيل Apache Airflow في Lyft - يوفر هذا نظرة عامة حول كيفية تشغيل Lyft لـ Apache Airflow في الإنتاج (المراقبة والتخصيص وما إلى ذلك).
• نشر Apache Airflow في Azure لإنشاء خطوط أنابيب البيانات وتشغيلها - يتحدث عن تشغيل Airflow على Azure.
• Zen of Python وApache Airflow - منشور مدونة حول كيفية تطبيق Zen of Python على كود Airflow.
• تأمين واجهة مستخدم Apache Airflow مع الوصول إلى مستوى DAG - منشور مدونة حول الوصول إلى مستوى Airflow DAG وكيفية استخدام Lyft له.
• ترقية تدفق الهواء بدون توقف - مقالة مفصلة حول كيفية نشر تدفق الهواء بدون توقف.
• بناء منصة خطوط أنابيب ETL على مستوى الإنتاج باستخدام Apache Airflow - يصف هذا المنشور كيفية استخدام فريق إدارة النظام في Cerner لتدفق الهواء.
• الحد الأدنى من تدفق الهواء على Kubernetes (Local، EKS، AKS) - مقال حول نشر Airflow على Kubernetes المحلي، وAWS EKS، وAzure AKS مع الحد الأدنى من الإعداد.
• تفكيك Airflow DAG monorepo - يصف هذا المنشور كيفية دعم إدارة Airflow DAGs من مستودعات git المتعددة عبر S3.
• تحسين أداء برنامج جدولة تدفق الهواء Apache - قصة مغامرة سمحت لـ Databand بتسريع وقت تحليل DAG 10 مرات
• كيف يستخدم SSENSE Apache Airflow لتنفيذ Data Lineage على AWS - استكشاف الموضوعات الأساسية لتصميم وإدارة بحيرة البيانات على AWS باستخدام Apache Arflow.
• مراقبة تدفق الهواء باستخدام Prometheus وStatsD وGrafana - دليل حول كيفية إعداد لوحات المعلومات التشغيلية لمجموعة الإنتاج بواسطة Databand والحصول على رؤية عالية المستوى لتدفق الهواء.
• تنسيق المهام المعقدة في Hurb باستخدام Apache Airflow - يوضح هذا المنشور كيف يستخدم Hurb Apache Airflow لتنسيق المهام المعقدة وكيف يستفيد من الإنشاء الديناميكي لـ DAG لتحسين سرعة التطوير.
• أتمتة تصدير البيانات من CrateDB إلى S3 باستخدام Apache Airflow برنامج تعليمي حول كيفية أتمتة الاستعلامات المتكررة في CrateDB باستخدام Apache Airflow، مثل تصدير البيانات الدورية إلى Amazon S3.
• تنفيذ سياسة الاحتفاظ بالبيانات مع CrateDB وApache Airflow برنامج تعليمي خطوة بخطوة حول كيفية تنفيذ سياسة فعالة للاحتفاظ بالبيانات مع CrateDB وApache Airflow.
• استيعاب بيانات تاكسي مدينة نيويورك من S3 إلى CrateDB - يصف كيفية إنشاء خط أنابيب استيعاب قاعدة البيانات في Airflow عن طريق تحميل ملفات CSV من S3 إلى CrateDB.

الكتب والمدونات والبودكاست وما إلى ذلك

• خطوط أنابيب البيانات مع تدفق هواء Apache - كتاب مانينغ (الوصول المبكر، سبتمبر 2019) عن تدفق الهواء.
• The Airflow Podcast - بودكاست شبه منتظم يناقش كل ما يتعلق بتدفق الهواء.
• Maxime Beauchemin - مدونة Maxime على الوسائط التي تقدم نظرة ثاقبة للفلسفة الكامنة وراء Apache Airflow.
• روبرت تشانغ - منشورات مدونة حول هندسة البيانات باستخدام Apache Airflow، يشرح السبب ويحتوي على أمثلة في التعليمات البرمجية.
• التعامل مع سجلات Airflow باستخدام Kubernetes Executor - مدونة توضح كيفية إعداد تسجيل S3 عن بعد عند استخدام KubernetesExecutor، دون إنشاء بنية تحتية معقدة.
• Airflow 2.0: إعادة تصميم تأليف DAG - منشور مدونة حول طرق جديدة لكتابة DAGs في Airflow 2.0.
• موفرو Airflow 2.0 - منشور مدونة حول حزم الموفرين في Airflow 2.0.

عروض الشرائح ومقاطع الفيديو عبر الإنترنت

• 2020 - فبراير: Apache Airflow @ Umuzi.org - تناقش Sheena O'Connell كيف يستخدم المعسكر التدريبي التكنولوجي Umuzi ومقره جنوب إفريقيا Airflow.
• دروس Apache Airflow على YouTube - أنشأ مارك لامبرتي سلسلة من البرامج التعليمية على YouTube تغطي العديد من جوانب مفاهيم Airflow وتكوينه ونشره.
• أنماط هندسة البيانات المتقدمة مع Apache Airflow - فيديو لحديث Maxime Beauchemin الذي يقدم Airflow بإيجاز ثم ينتقل إلى حالات استخدام أكثر تقدمًا، بما في ذلك استعلامات SQL ذاتية الخدمة، وبناء أطر مقاييس اختبار A/B واستخراج ميزات التعلم الآلي، كل ذلك عبر Airflow. الشرائح متوفرة بشكل منفصل هنا.
• خطوط أنابيب البيانات الحديثة مع Apache Airflow - محاضرة ألقاها تايلور إدميستون وأندي كوبر من Astronomer.io في Momentum Dev Con 2018 حول البدء في استخدام Airflow، والمكونات المخصصة، على سبيل المثال DAGs، وAstronomer Airflow CLI.
• بناء خطوط أنابيب بيانات أفضل باستخدام Apache Airflow - شرائح من حديث Sid Anand في QCon 18 مع نظرة عامة شاملة على Airflow وبنيته.
• تدفق الهواء وتدفق الشرارة في Astronomer - كيف يستخدم الفلكي DAGs الديناميكية لتشغيل وظائف Spark Streaming مع Airflow.
• Apache Airflow in the Cloud: تنسيق أعباء العمل برمجيًا باستخدام Python - شرائح من حديث Kaxil Naik's & Satyasheel في PyData London 18 لتقديم أساسيات Airflow وكيفية تنسيق أعباء العمل على Google Cloud Platform (GCP).
• تطوير مسارات عمل أنيقة في كود Python باستخدام Apache Airflow - يقدم Michał Karzyński في Europython مقدمة موجزة لمفاهيم Airflow بما في ذلك دور مديري سير العمل وDAGs والمشغلين. يتضمن الرابط كلا من الفيديو والشرائح.
• إدارة خطوط البيانات - بن جولدبيرج يطلع على لقاء Chicago Kubernetes Meetup ويشرح كيفية استخدام SpotHero لـ Airflow. بالإضافة إلى ذلك، لدى Ben مجموعة شرائح كاملة جدًا حول كيفية تشغيل Airflow داخل Kubernetes.
• كيف تعلمت السفر عبر الزمن، أو نقل البيانات والجدولة باستخدام Airflow - مجموعة شاملة من تأليف Laura Lorenz حول سبب أهمية Airflow وكيف تستخدمه Industry Dive.
• مقدمة إلى Apache Airflow - يوم البيانات سياتل 2016 - يقدم Sid Anand مقدمة شاملة عن Airflow وكيفية استخدامه في Agari.
• تشغيل خط أنابيب البيانات مع تدفق الهواء - لقاء تدفق الهواء أبريل 2018 - يتحدث Ananth Packkildurai عن توسيع نطاق المنفذ المحلي لتدفق الهواء وأفضل الممارسات لتشغيل خط أنابيب البيانات في Slack.
• Apache Airflow في WePay - يناقش كريس ريكوميني سبب اختيار WePay لـ Airflow ويقدم تحليلاً تفصيليًا لنشرها والبنية التحتية التي تقف وراءها.
• ربط البيانات بشكل أنيق باستخدام Apache Airflow - محادثات من Bolke de Bruin وFokko Driesprong في PyData Amsterdam 2018 حول المنهجيات التي توفر الوضوح في ETL باستخدام Airflow.
• Airflow @ Lyft - محادثات من Tao Feng في لقاء تحليلات البيانات الكبيرة في SF حول كيفية مراقبة Lyft لتشغيل Airflow في الإنتاج.
• خطوط أنابيب بيانات يمكن التحكم فيها باستخدام Airflow وKubernetes - حديث بقلم جاريك بوتيوك وسزيمون برزيدفويسكي. محاضرة تمهيدية عن Airflow من GDG Warsaw DevFest 2018.
• ترحيل مسارات عمل Apache Oozie إلى Apache Airflow - حديث من Szymon Przedwojski من Airflow Bay Area Meetup في يونيو 2018 حول أداة ترحيل Oozie-to-Airflow.
• بناء بحيرات البيانات باستخدام Apache Airflow - حديث بواسطة Bas Harenslak وJulian de Ruiter في لقاء Amsterdam Apache Airflow في سبتمبر 2018 حول بناء بحيرات البيانات باستخدام Apache Airflow باعتباره العنكبوت في الويب الذي يدير جميع تدفقات البيانات.
• First Warsaw Apache Airflow Meetup - تسجيل مباشر من لقاء Apache Airflow الأول في وارسو في أكتوبر 2019.
• ما الذي سيأتي في Apache Airflow 2.0 - حديث مشترك بين Ash Berlin-Taylor، وKaxil Naik، وJarek Potiuk، وKamil Breguła، وDaniel Imbermann، وTomek Urbaszek في لقاء NYC عبر الإنترنت، في 13 مايو 2020
• Airflow Breeze - بيئة التطوير والاختبار لـ Apache Airflow - Screencast يوضح كيفية استخدام بيئة Breeze بواسطة Jarek Potiuk.

المكتبات، الخطافات، المرافق

• Domino - Domino عبارة عن منصة واجهة مستخدم رسومية مفتوحة المصدر لإنشاء البيانات وسير عمل التعلم الآلي (DAGs) بدون تعليمات برمجية وإجراءات السحب والإفلات البديهية بصريًا. وهو أيضًا معيار لنشر ومشاركة كود Python الخاص بك بحيث يمكن لأي شخص استخدامه تلقائيًا، مباشرة في واجهة المستخدم الرسومية.
• مساعد تدفق الهواء - إعداد متغيرات تدفق الهواء والاتصالات والتجمعات من ملف تكوين YAML.
• AirFly - إنشاء dag.py لتدفق الهواء تلقائيًا أثناء التنقل.
• DEAfrica Airflow - مكتبات Airflow المستخدمة من قبل Digital Earth Africa، وهو جهد إنساني لاستخدام صور الأقمار الصناعية لأفريقيا.
• مكونات Airflow الإضافية - مجموعة مركزية من المستودعات لمختلف المكونات الإضافية لـ Airflow، بما في ذلك mailchimp وtrello وsftp وGitHub وما إلى ذلك.
• fileflow - مجموعة من الوحدات لدعم عمليات نقل البيانات الكبيرة بين مشغلي Airflow إما من خلال نظام الملفات المحلي أو S3. يعالج هذا الفجوة حيث تكون البيانات كبيرة جدًا بالنسبة لـ XCOM ولكنها صغيرة جدًا أو غير ملائمة للتحميل مباشرة في المشغل. بنيت من قبل الصناعة الغوص.
• fairflow - مكتبة لتجريد مشغلي Airflow من خلال الأجزاء الوظيفية التي تحول البيانات من مشغل إلى آخر.
• airflow-maintenance-dags - لدى Clairvoyant مستودع من Airflow DAGs الذي يعمل على Airflow نفسه، مما يؤدي إلى مسح أجزاء مختلفة من مخزن البيانات التعريفية الداعمة.
• test_dags - حل أكثر اكتمالاً لاختبارات تكامل DAG (الدائرة الأولى من جحيم البيانات هي الأولى.
• dag-factory - مكتبة لإنشاء Apache Airflow DAGs ديناميكيًا من ملفات تكوين YAML.
• دوامة - تطوير محلي متكرر سريع واختبار سير عمل Apache Airflow.
• airflow-code-editor - مكون إضافي لـ Apache Airflow يسمح لك بتحرير DAGs في المتصفح.
• Pylint-Airflow - مكون إضافي لـ Pylint لتحليل الكود الثابت على كود Airflow.
• afctl - أداة CLI تتضمن كل ما هو مطلوب لإنشاء مشاريع تدفق الهواء وإدارتها ونشرها بشكل أسرع وأكثر سلاسة.
• عارض تبعيات Dag - مكون إضافي يقوم بإنشاء طريقة عرض لتصور التبعيات بين Airflow DAGs
• Airflow ECR Plugin - مكون إضافي لتحديث الرمز المميز لتسجيل الدخول إلى AWS ECR على فترات منتظمة. يعد هذا مفيدًا عندما يحتاج DockerOperator إلى سحب الصور المستضافة على ECR.
• AirflowK8sDebugger - مكتبة لإنشاء قوالب k8s pod yaml من Airflow dag باستخدام KubernetesPodOperator.
• Oozie to Airflow - أداة للتحويل بسهولة بين سير عمل Apache Oozie وسير عمل Apache Airflow.
• Airflow Ditto - إطار عمل قابل للتوسيع لإجراء تحويلات إلى Airflow DAG وتحويله إلى DAG آخر يكون متماثل التدفق مع DAG الأصلي، لتتمكن من تشغيله في بيئات مختلفة (على سبيل المثال، على سحب مختلفة، أو حتى أطر حاويات مختلفة - أباتشي سبارك على YARN vs Kubernetes). يأتي مع دعم خارج الصندوق لتحويلات EMR-to-HDInsight-DAG.
• gusty - قم بإنشاء DAG باستخدام أي عدد من ملفات YAML أو Python أو Jupyter Notebook أو R Markdown التي تمثل المهام الفردية في DAG. يقوم gusty أيضًا بتكوين التبعيات وDAGs وTaskGroups، ويتميز بدعم المشغلين المحليين لديك، والمزيد. يتوفر عرض توضيحي بحاويات كاملة هنا.
• Meltano - أداة ELT مفتوحة المصدر، ومستضافة ذاتيًا، وأول واجهة سطر الأوامر (CLI)، وقابلة للتصحيح، وقابلة للتوسيع، وتشتمل على Singer للاستخراج والتحميل، وتستفيد من dbt للتحويل، وتتكامل مع Airflow للتنسيق.
• عمليات فحص DAG - تتكون عمليات فحص dag من عمليات فحص يمكن أن تساعدك في الحفاظ على مثيل Apache Airflow الخاص بك.
• البرنامج المساعد Airflow DVC - البرنامج المساعد لنظام التحكم في الإصدار مفتوح المصدر لعلوم البيانات وخطوط أنابيب التعلم الآلي - DVC.
• Airflow Vars - واجهة سطر الأوامر (CLI) لإدارة المتغيرات، تم إنشاؤها لخطوط أنابيب الأقراص المضغوطة للسماح بإدارة قوية وآمنة للمتغيرات.
• أولوية تدفق الهواء - علامات الأولوية (P1، P2، إلخ) لـ Airflow DAGs مع تنبيه تلقائي إلى Datadog وNew Relic وSlack وDiscord والمزيد
• airflow-config - نظام تكوين قائم على Pydantic / Hydra لوسيطات DAG وTask
• مشرف تدفق الهواء - تكامل مشرف سهل الاستخدام للتشغيل الطويل أو "التشغيل الدائم" لـ DAGs

لقاءات

• لقاء أمستردام أباتشي لتدفق الهواء
• لقاء بنغالور أباتشي لتدفق الهواء
• لقاء منطقة الخليج لتدفق الهواء أباتشي
• لقاء لندن أباتشي لتدفق الهواء
• لقاء ملبورن أباتشي لتدفق الهواء
• لقاء أباتشي لتدفق الهواء في مدينة نيويورك
• لقاء باريس أباتشي لتدفق الهواء
• لقاء بورتلاند أباتشي لتدفق الهواء
• لقاء طوكيو أباتشي لتدفق الهواء
• لقاء وارسو أباتشي لتدفق الهواء

مزودو تدفق الهواء التجاري كخدمة

• Google Cloud Composer - Google Cloud Composer عبارة عن خدمة مُدارة مبنية على Google Cloud وAirflow.
• Qubole - تُعرف Qubole أساسًا بأنها شركة خدمة ودعم لـ Apache Hive، ولكنها توفر أيضًا Airflow كأحد مكونات نظامها الأساسي.
• Astronomer.io - يوفر Astronomer حلولاً كاملة لدورة حياة ETL ويبدو أنه يركز بالكامل على توفير المنتجات القائمة على Airflow.
• AWS MWAA - Amazon Managed Workflows for Apache Airflow (MWAA) هي خدمة تزامن مُدارة لـ Apache Airflow تسهل إعداد وتشغيل خطوط أنابيب البيانات الشاملة في السحابة على نطاق واسع.

موارد المؤلف السحابي

يحتوي هذا القسم على مقالات تنطبق على Cloud Composer — وهي خدمة تم إنشاؤها بواسطة Google Cloud استنادًا إلى Apache Airflow. تم هنا وصف الحيل والحلول المخصصة لـ Cloud Composer، ولكنها قد تكون قابلة للتطبيق على Vanilla Airflow.

• تمكين القياس التلقائي في Google Cloud Composer - قم بتعزيز نشر Cloud Composer مع توفير بعض التكلفة أثناء فترات الخمول.
• قم بتوسيع بيئة الملحن الخاصة بك جنبًا إلى جنب مع عملك - بنية Celery Executor وطرق ضمان الأداء العالي للجدولة.
• pianka.sh - أمر مفقود في أداة gcloud. تسهل هذه الأداة بعض المهام الإدارية.
• الطريقة الأكثر ذكاءً للتوسيع باستخدام برنامج جدولة تدفق الهواء الخاص بالملحن على GKE - يناقش Roy Berkowitz الاستخدام الأكثر فعالية للعقد في خدمة Cloud Composer.
• أفضل معًا: تنسيق مسارات Data Fusion الخاصة بك باستخدام Cloud Composer - توفر Rachael Deacon-Smith نظرة عامة على المشغل لحالة استخدام Datafusion على Cloud Composer.

موارد غير الإنجليزية

• توثيق تدفق الهواء - الصينية - (؟؟ الصينية) قامت شركة Apachecn بترجمة الوثائق الرسمية لتدفق الهواء.
• Gestion de Tâches avec Apache Airflow - (??فرنسي) نيكولاس كروكفر - نظرة عامة على تدفق الهواء والمفاهيم الأساسية وكيفية كتابة DAG وتشغيله.
• تدفق الهواء (は す ご い ぞ، 100行 未 満 で 本 格的 な デ タ パ イ プ ラ イ ン) - (اليابانية) يقدم هانك أهلي مقدمة شاملة لمفاهيم Airflow الرئيسية، ويوضح كيفية إنشاء خط أنابيب بيانات في أقل من 100 سطر من التعليمات البرمجية.
• Apache Airflow 複数worker構成のalpine版docker imageを作った - (اليابانية) أكيو أوتا يسير عبر صورة Docker الخاصة به لنشر نظام Airflow القائم على جبال الألب.
• تدفق الهواءのタスクログをS3に保存する方法 - (اليابانية) يعرض هانك إيلي خطوة بخطوة كيفية تكوين إرسال سجلات المهام إلى AWS S3.
• وصف المنتج: Airflow Fluentd Elasticsearch Docker の連携方法 - (اليابانية) يصف هانك إيلي كيفية التعامل مع سجلات مهام العامل باستخدام Fluentd وElasticsearch وDocker.
• Apache Airflow – Kaikki Mitä Meilla On, Lähtee Dageista - (??الفنلندية) نظرة عامة على تدفق الهواء والمفاهيم واستخدام Airflow في Solita.
• تدفق الهواء - Automatizando seu Fluxo de trabalho - (??البرتغالية) نظرة عامة لجيلسون فيلهو على تدفق الهواء والمفهوم والاستخدام الأساسي.
• Panduan Dasar Apache Airflow - (؟؟إندونيسي) الإمام ديجمي - نظرة عامة على تدفق الهواء، المفهوم، الاستخدام الأساسي مع حالة الاستخدام.
• تدفق الهواء - (؟؟الفيتنامية) Duyet Le - نظرة عامة على تدفق الهواء، المفهوم، الاستخدام الأساسي مع حالة الاستخدام.
• منشورات مدونة مايكل يانغ Airflow الصينية - منشورات مدونة مايكل يانغ الصينية حول هندسة البيانات باستخدام Apache Airflow، وتختتم البرامج التعليمية الأساسية ومهارات التطوير.

مشاريع عينة

• خطوط أنابيب مجموعات البيانات العامة في Google Cloud Platform - بنية خطوط أنابيب البيانات السحابية الأصلية لدمج مجموعات البيانات في برنامج مجموعات البيانات العامة في Google Cloud.
• GitLab Data Team DAGs - يتم استخدام العديد من DAGs لإنشاء تحليلات لمنصة GitLab.
• نشر تدفق الهواء على ecs-fargate - النشر إلى Amazon ECS Fargate. يوضح العديد من الميزات والتكوينات، مثل توسيع نطاق العمال تلقائيًا إلى الصفر، والتسجيل عن بعد S3 والإدارة السرية.

رخصة

إلى أقصى حد ممكن بموجب القانون، تنازل جاكوب هومان عن جميع حقوق الطبع والنشر والحقوق ذات الصلة أو المجاورة لهذا العمل.