Dagster هو منسق خط أنابيب بيانات سحابي أصلي لدورة حياة التطوير بأكملها، مع نسب متكامل وقابلية للملاحظة، ونموذج برمجة تعريفي، وقابلية اختبار هي الأفضل في فئتها.
وهي مصممة لتطوير وصيانة أصول البيانات ، مثل الجداول ومجموعات البيانات ونماذج التعلم الآلي والتقارير.
باستخدام Dagster، فإنك تعلن - كوظائف بايثون - عن أصول البيانات التي ترغب في بنائها. يساعدك Dagster بعد ذلك على تشغيل وظائفك في الوقت المناسب والحفاظ على تحديث أصولك.
فيما يلي مثال لرسم بياني لثلاثة أصول محددة في بايثون:
from dagster import asset
from pandas import DataFrame , read_html , get_dummies
from sklearn . linear_model import LinearRegression
@ asset
def country_populations () -> DataFrame :
df = read_html ( "https://tinyurl.com/mry64ebh" )[ 0 ]
df . columns = [ "country" , "pop2022" , "pop2023" , "change" , "continent" , "region" ]
df [ "change" ] = df [ "change" ]. str . rstrip ( "%" ). str . replace ( "−" , "-" ). astype ( "float" )
return df
@ asset
def continent_change_model ( country_populations : DataFrame ) -> LinearRegression :
data = country_populations . dropna ( subset = [ "change" ])
return LinearRegression (). fit ( get_dummies ( data [[ "continent" ]]), data [ "change" ])
@ asset
def continent_stats ( country_populations : DataFrame , continent_change_model : LinearRegression ) -> DataFrame :
result = country_populations . groupby ( "continent" ). sum ()
result [ "pop_change_factor" ] = continent_change_model . coef_
return result
الرسم البياني الذي تم تحميله في واجهة مستخدم الويب الخاصة بـ Dagster:
تم تصميم Dagster ليتم استخدامه في كل مرحلة من مراحل دورة حياة تطوير البيانات - التطوير المحلي، واختبارات الوحدة، واختبارات التكامل، والبيئات المرحلية، وصولاً إلى الإنتاج.
إذا كنت جديدًا في Dagster، فنوصيك بقراءة المزيد عن مفاهيمها الأساسية أو التعلم من خلال البرنامج التعليمي العملي.
يتوفر Dagster على PyPI ويدعم رسميًا Python 3.9 حتى Python 3.12.
pip install dagster dagster-webserver
يؤدي هذا إلى تثبيت حزمتين:
dagster
: نموذج البرمجة الأساسية.dagster-webserver
: الخادم الذي يستضيف واجهة مستخدم الويب الخاصة بـ Dagster لتطوير وظائف وأصول Dagster وتشغيلها.هل تعمل على جهاز Mac مزود بشريحة سيليكون من Apple؟ تحقق من تفاصيل التثبيت هنا.
يمكنك العثور على وثائق Dagster الكاملة هنا، بما في ذلك دليل "البدء".
حدد الأصول الأساسية التي تحتاج إلى إنشائها باستخدام النهج التعريفي، أو يمكنك التركيز على تشغيل المهام الأساسية. تبنى أفضل ممارسات CI/CD منذ البداية: أنشئ مكونات قابلة لإعادة الاستخدام، وحدد مشكلات جودة البيانات، وقم بالإبلاغ عن الأخطاء مبكرًا.
ضع خطوط الأنابيب الخاصة بك في مرحلة الإنتاج باستخدام محرك قوي ومتعدد المستأجرين ومتعدد الأدوات والذي يمكن التوسع فيه تقنيًا وتنظيميًا.
حافظ على التحكم في بياناتك مع تزايد التعقيد. قم بمركزة بيانات التعريف الخاصة بك في أداة واحدة مع إمكانية المراقبة والتشخيص والفهرسة والنسب المضمنة. اكتشاف أي مشاكل وتحديد فرص تحسين الأداء.
توفر Dagster مكتبة متنامية من عمليات التكامل لأدوات البيانات الأكثر شيوعًا اليوم. يمكنك التكامل مع الأدوات التي تستخدمها بالفعل، ونشرها في البنية الأساسية لديك.
تواصل مع الآلاف من ممارسي البيانات الآخرين الذين يعملون مع Dagster. شارك المعرفة واحصل على المساعدة وساهم في المشروع مفتوح المصدر. لرؤية المواد المميزة والأحداث القادمة، قم بمراجعة صفحة مجتمع Dagster الخاصة بنا.
انضم إلى مجتمعنا هنا:
للحصول على تفاصيل حول المساهمة أو تشغيل المشروع من أجل التطوير، راجع دليل المساهمة الخاص بنا.
Dagster هو Apache 2.0 مرخص.