نظام جدولة المهام الحوت الكبير v1.3

نظام جدولة المهام Big Whale هو نظام جدولة مهام حوسبة موزع تم تطويره بواسطة Meiyou Big Data، وهو يوفر جدولة تنفيذ DAG لمهام المعالجة المجمعة مثل Spark وFlink ومراقبة الحالة وجدولة مهام معالجة التدفق. الكشف عن تطبيق الذاكرة الكبيرة ووظائف أخرى. تم تطوير الخدمة بناءً على Spring Boot 2.0 ويمكن تشغيلها بعد تعبئتها.

التحضير البيئي

جافا 1.8+

ماي أس كيو إل 5.1.0+

ثَبَّتَ

1. إنشاء قاعدة بيانات: الحوت الكبير

2. قم بتشغيل البرنامج النصي لقاعدة البيانات: big-whale.sql

3. قم بتكوين كلمة مرور حساب قاعدة البيانات ذات الصلة ومعلومات SMTP وفقًا لبيئة Spring Boot.

4. التكوين: big-whale.properties

وصف عنصر التكوين

ssh.user: اسم مستخدم تسجيل الدخول عن بعد لـ SSH مع أذونات تنفيذ البرنامج النصي (سيستخدم النظام الأساسي هذا المستخدم كمستخدم تنفيذ البرنامج النصي الموحد)

ssh.password: كلمة مرور مستخدم تسجيل الدخول عن بعد SSH

dingding.enabled: ما إذا كان سيتم تمكين تنبيهات DingTalk أم لا

dingding.watcher-token: رمز روبوت المجموعة العامة Dingding

Yarn.app-memory-threshold: الحد الأقصى لذاكرة تطبيق الغزل (الوحدة: ميجابايت)، -1 يعطل الكشف

الغزل.app-white-list: القائمة البيضاء لتطبيقات الغزل (الذاكرة التي تطلبها التطبيقات في القائمة تتجاوز الحد الأعلى، ولن يتم إصدار أي إنذار)

5. تعديل: $FLINK_HOME/bin/flink، المرجع: flink (نظرًا لأن flink يمكنه فقط قراءة حزمة الجرة المحلية عند إرسال مهمة، فمن الضروري تنزيل حزمة الجرة من hdfs واستبدال معلمة مسار حزمة الجرة في البرنامج النصي عندما تنفيذ أمر الإرسال).

6. التعبئة والتغليف: حزمة mvn النظيفة

.بدء

1. تحقق مما إذا كان المنفذ 17070 مشغولاً، إذا كان الأمر كذلك، فأغلق العملية المشغولة أو قم بتعديل تكوين رقم منفذ المشروع وأعد حزمه.

2. انسخ big-whale.jar في الدليل الهدف وقم بتنفيذ الأمر: java -jar big-whale.jar

التكوين الأولي

1. افتح: http://localhost:17070

2. أدخل مسؤول الحساب وكلمة المرور المشرف

3. انقر فوق: إدارة الأذونات->إدارة المستخدمين، وقم بتعديل عنوان البريد الإلكتروني للحساب الحالي إلى عنوان بريد إلكتروني قانوني وحالي، وإلا فلن يتم إرسال البريد الإلكتروني.

4. أضف الكتلة

إدارة الكتلة->إدارة الكتلة->جديد

"عنوان إدارة الغزل" هو عنوان واجهة مستخدم الويب الخاص بـ Yarn ResourceManager

"دليل تخزين الحزمة" هو مسار التخزين عند تحميل الحزمة إلى مجموعة HDFS، مثل: /data/big-whale/storage

"دعم مستخدمي وكيل مهام Flink" و"القائمة السوداء لمهام معالجة الدفق" و"القائمة السوداء لمهام المعالجة المجمعة" هي قواعد مخصصة لتخصيص المهام داخليًا. لا تملأ الحقول.

5. إضافة وكيل

إدارة المجموعة->إدارة الوكيل->جديد

يمكن إضافة مثيلات متعددة (يتم دعم عناوين IP فقط، ويمكن تحديد أرقام المنافذ، والقيمة الافتراضية هي 22). عند تنفيذ البرنامج النصي، سيتم تحديد المثيل عشوائيًا للتنفيذ. إذا كان المثيل غير قابل للوصول، فسيتم تحديد المثيل التالي تم اختيارهما عشوائيًا، ويفشل التنفيذ عندما يتعذر الوصول إلى كليهما

بعد تحديد المجموعة، سيكون أحد الوكلاء هو الذي يرسل مهام Spark أو Flink ضمن المجموعة.

6. أضف مستخدمي المجموعة

إدارة الكتلة->مستخدم الكتلة->إضافة

دلالات هذا التكوين هي: قائمة انتظار موارد الغزل (--queue) والمستخدم الوكيل (--proxy-user) الذي يمكن لمستخدمي النظام الأساسي استخدامه ضمن المجموعة المحددة.

7. إضافة إطار الحساب

إدارة الكتلة->الإدارة->إضافة

قد تختلف أوامر الإرسال الخاصة بمهام Spark أو Flink المختلفة في نفس المجموعة، على سبيل المثال، أمر الإرسال الخاص بـ Spark 1.6.0 هو spark-submit، وأمر الإرسال الخاص بـ Spark 2.1.0 هو spark2-submit.