نظام جدولة المهام DolphinScheduler v2.0.9

Apache DolphinScheduler (الحاضنة، EasyScheduler سابقًا) عبارة عن نظام جدولة مهام سير العمل الموزع للبيانات الضخمة، وهو يحل بشكل أساسي مشاكل التبعيات المعقدة في معالجة ETL أثناء عملية البحث والتطوير للبيانات الضخمة، ولكن لا يمكنه مراقبة الحالة الصحية للمهام بشكل حدسي. يقوم DolphinScheduler بتجميع المهام بطريقة دفق DAG ويمكنه مراقبة حالة تشغيل المهام في الوقت الفعلي، كما أنه يدعم عمليات مثل إعادة المحاولة، واستعادة المهام الفاشلة من العقد المعينة، والإيقاف المؤقت، وإنهاء المهام.

ميزات التصميم: نظام جدولة مهام سير عمل DAG المرئي الموزع والقابل للتطوير بسهولة. ملتزمون بحل التبعيات المعقدة في عملية معالجة البيانات، بحيث يمكن استخدام نظام الجدولة خارج الصندوق في عملية معالجة البيانات. أهدافها الرئيسية هي كما يلي

1. استخدم مخطط DAG لربط المهام وفقًا لتبعيات المهام، والذي يمكنه مراقبة حالة تشغيل المهام بشكل مرئي في الوقت الفعلي.

2. يدعم مجموعة متنوعة من أنواع المهام: Shell، MR، Spark، SQL (mysql، postgresql، hive، sparksql)، Python، Sub_Process، الإجراء، إلخ.

3. يدعم الجدولة المجدولة لسير العمل، وجدولة التبعية، والجدولة اليدوية، والإيقاف المؤقت/الإيقاف/الاستئناف اليدوي، ويدعم أيضًا عمليات مثل إعادة المحاولة/التنبيه الفاشلة، وفشل الاسترداد من العقد المحددة، وإنهاء المهام.

4. دعم أولوية سير العمل، وأولوية المهمة، وتجاوز فشل المهمة، وإنذار/فشل مهلة المهمة

5. دعم المعلمات العالمية لسير العمل وإعدادات المعلمة المخصصة للعقدة

6. دعم التحميل/التنزيل عبر الإنترنت وإدارة ملفات الموارد، ودعم إنشاء الملفات وتحريرها عبر الإنترنت.

7. دعم عرض سجلات المهام وتمريرها عبر الإنترنت، وتنزيل السجلات عبر الإنترنت، وما إلى ذلك.

8. تنفيذ مجموعة HA وتحقيق اللامركزية في المجموعة الرئيسية ومجموعة العمال من خلال Zookeeper

9. دعم العرض عبر الإنترنت لتحميل وحدة المعالجة المركزية الرئيسية/العامل والذاكرة ووحدة المعالجة المركزية

10. دعم سير العمل، تشغيل شجرة التاريخ/عرض مخطط جانت، وإحصائيات حالة المهمة، وإحصائيات حالة العملية.

11. دعم الرقم التكميلي

12. دعم الإيجارات المتعددة

13. دعم التدويل

14. هناك المزيد من الشركاء الذين ينتظرون استكشافهم

يوسع