بوابة DataSphereStudio الشاملة لتطوير وإدارة تطبيقات البيانات v1.2.1

DataSphere Studio (DSS للاختصار) عبارة عن بوابة شاملة لتطوير وإدارة تطبيقات البيانات تم تطويرها بواسطة WeBank.

تعتمد بوابة تطوير وإدارة تطبيقات البيانات الشاملة الخاصة بـ DataSphereStudio على تصميم إطار عمل تكامل المكونات الإضافية والبرمجيات الوسيطة للحوسبة Linkis، والتي يمكنها الوصول بسهولة إلى العديد من أنظمة تطبيقات بيانات الطبقة العليا، مما يجعل تطوير البيانات بسيطًا وسهل الاستخدام.

ضمن واجهة مستخدم موحدة، يستخدم DataSphere Studio تجربة تطوير رسومية بالسحب والإفلات على نمط سير العمل لتلبية احتياجات تطوير تطبيقات البيانات بدءًا من تبادل البيانات وإزالة التحسس والتنظيف والتحليل والتعدين وفحص الجودة والعرض المرئي وجدولة التوقيت للبيانات تطبيقات الإخراج، وما إلى ذلك. متطلبات سيناريو العملية الكاملة.

يعتمد DSS تصميم إطار تكامل قابل للتوصيل، مما يسمح للمستخدمين باستبدال المكونات الوظيفية المختلفة التي دمجها DSS ببساطة وبسرعة، أو إضافة مكونات وظيفية جديدة وفقًا للاحتياجات.

بمساعدة إمكانيات الاتصال وإعادة الاستخدام والتبسيط للبرامج الوسيطة للحوسبة من Linkis، تم تجهيز DSS بطبيعتها بقدرات التنفيذ والجدولة على المستوى المالي مثل التزامن العالي والتوافر العالي والعزل متعدد المستأجرين وإدارة الموارد والتحكم فيها.

الميزات الأساسية

الملامح الرئيسية لDSS

1. واجهة إدارة تطوير التطبيقات الشاملة والعملية الكاملة

تتمتع DSS بدرجة عالية جدًا من التكامل حاليًا، وتشمل الأنظمة التي تم دمجها

1. أداة IDE لتطوير البيانات —— Scriptis

2. أداة تصور البيانات—Visualis (استنادًا إلى التطوير الثانوي بواسطة CreditEase Davinci)

3. أداة إدارة جودة البيانات —— الجودة

4. أداة جدولة سير العمل ——أزكابان

يسمح نموذج تصميم إطار العمل الإضافي الخاص بـ DSS للمستخدمين باستبدال أنظمة الويب المختلفة التي دمجها DSS بسرعة. على سبيل المثال: استبدل Scriptis بـ Zeppelin وAzkaban بـ DolphinScheduler.

2. قم بإنشاء مفهوم تصميم AppJoint فريد يعتمد على البرامج الوسيطة للحوسبة Linkis

AppJoint هو المفهوم الأساسي لـ DSS الذي يمكنه بسهولة وسرعة دمج أنظمة الويب ذات الطبقة العليا المختلفة.

AppJoint - مشترك التطبيق، يحدد مجموعة موحدة من مواصفات الوصول للواجهة الأمامية والخلفية، مما يسمح لأنظمة تطبيقات البيانات الخارجية بالوصول بسرعة وسهولة، ليصبح جزءًا من تطوير تطبيقات بيانات DSS.

يقوم DSS بتوصيل AppJoints متعددة في سلسلة لتشكيل سير عمل يدعم التنفيذ في الوقت الفعلي والجدولة المجدولة. يمكن للمستخدمين إكمال عملية تطوير تطبيقات البيانات بالكامل عن طريق السحب والإسقاط.

نظرًا لأن AppJoint متصل بـ Linkis، فإن نظام تطبيق البيانات الخارجية يتمتع بقدرات إدارة الموارد والتحكم فيها، والحد من التزامن، وإدارة موارد المستخدم، وما إلى ذلك، ويسمح بمشاركة معلومات السياق عبر مستويات النظام، مع توديع جزر التطبيقات تمامًا.

3. وحدة الإدارة على مستوى المشروع

من خلال Project باعتباره وحدة الإدارة، فإنه ينظم ويدير تطبيقات الأعمال لكل نظام من أنظمة تطبيقات البيانات، ويحدد مجموعة من المعايير المشتركة لتطوير المشاريع التعاونية عبر أنظمة تطبيقات البيانات.

4. مكونات تطبيق البيانات المتكاملة

من خلال تنفيذ العديد من AppJoints، قامت DSS بدمج مجموعة متنوعة من أنظمة تطبيقات بيانات الطبقة العليا، والتي يمكنها تلبية احتياجات تطوير بيانات المستخدمين بشكل أساسي.

إذا لزم الأمر، يمكن للمستخدمين بسهولة دمج أنظمة تطبيقات البيانات الجديدة لاستبدال أو إثراء عملية تطوير تطبيقات بيانات DSS.

1. إمكانية جدولة DSS — Azkaban AppJoint

عادةً ما ترغب العديد من تطبيقات البيانات الخاصة بالمستخدمين في الحصول على إمكانات جدولة دورية.

تتمتع أنظمة الجدولة مفتوحة المصدر الموجودة حاليًا في السوق بتكامل منخفض مع أنظمة تطبيقات بيانات الطبقة العليا الأخرى ويصعب دمجها.

من خلال تطبيق Azkaban AppJoint، يتيح DSS للمستخدمين نشر سير عمل منسق إلى Azkaban للجدولة المجدولة بنقرة واحدة.

يحدد DSS أيضًا مجموعة من مواصفات تحليل سير عمل DSS القياسية والعالمية ونشرها لأنظمة الجدولة، مما يسمح لأنظمة الجدولة الأخرى بالاتصال بسهولة مع DSS بتكلفة منخفضة.

2. تطوير البيانات - Scriptis AppJoint

ما هي سكريبتيس؟

Scriptis عبارة عن أداة ويب لتحليل البيانات تدعم الكتابة عبر الإنترنت لـ SQL وPyspark وHiveQL والبرامج النصية الأخرى وإرسالها إلى Linkis للتنفيذ، كما أنها تدعم الميزات على مستوى المؤسسة مثل UDF والوظائف وإدارة الموارد والتحكم فيها والتشخيص الذكي.

يدمج Scriptis AppJoint إمكانات تطوير البيانات الخاصة بـ Scriptis في DSS ويسمح لأنواع البرامج النصية المختلفة من Scriptis بالمشاركة في عملية تطوير التطبيق كعقد لسير عمل DSS.

حاليًا، يتم دعم أنواع عقدة البرنامج النصي مثل HiveSQL وSparkSQL وPyspark وScala.

3. تصور البيانات - Visualis AppJoint

ما هو فيجواليس؟

Visualis هي أداة ذكاء الأعمال لتصور البيانات تم تطويرها استنادًا إلى مشروع CreditEase مفتوح المصدر Davinci، وهي توفر للمستخدمين إمكانات تصور البيانات على المستوى المالي من حيث أمان البيانات والأذونات.

يدمج Visualis AppJoint إمكانات تصور البيانات الخاصة بـ Visualis for DSS ويسمح باستخدام شاشات البيانات ولوحات المعلومات كعقد في سير عمل DSS والمرتبطة بسوق البيانات الأولية.

4. جودة البيانات——Qualitis AppJoint

يقوم Qualitis AppJoint بدمج إمكانات التحقق من جودة البيانات لـ DSS، ودمج نظام جودة البيانات في تطوير سير عمل DSS، والتحقق من سلامة البيانات وصحتها.

5. إرسال البيانات - المرسل AppJoint

يدمج Sender AppJoint إمكانات إرسال البيانات لـ DSS ويدعم حاليًا نوع عقدة SendEmail ويمكن إرسال مجموعات النتائج لجميع العقد الأخرى عبر البريد الإلكتروني.

على سبيل المثال: يمكن لعقدة SendEmail إرسال بيانات العرض الكبيرة مباشرة كبريد إلكتروني.

6. عقدة الإشارة —— Signal AppJoint

يتم استخدام EventChecker AppJoint لتعزيز الفصل والترابط بين الأعمال والعمليات.

عقدة DataChecker: التحقق من وجود قسم جدول المكتبة.

EventSender: عقدة إرسال الرسائل عبر سير العمل والمشاريع.

EventReceiver: عقدة استلام الرسائل عبر سير العمل والمشاريع.

7. عقدة الوظيفة

عقدة فارغة، عقدة سير العمل التابعة.

8. توسيع العقدة

وفقًا للاحتياجات، يمكن للمستخدمين ببساطة وسرعة استبدال المكونات الوظيفية المختلفة التي تم دمجها بواسطة DSS، أو إضافة مكونات وظيفية جديدة.

سيناريوهات الاستخدام

يعد DataSphere Studio مناسبًا للسيناريوهات التالية

1. السيناريوهات التي يتم فيها بناء منصة بيانات ضخمة أو لديها إمكانات أولية، ولكن لا تتوفر أدوات لتطبيق البيانات.

2. السيناريوهات التي تكون فيها إمكانات النظام الأساسي للبيانات الضخمة متاحة بالفعل ولا يوجد سوى عدد قليل من أدوات تطبيق البيانات.

3. لديها بالفعل إمكانات النظام الأساسي للبيانات الضخمة ولديها جميع أدوات تطبيق البيانات، ولكن الأدوات لم يتم ربطها بعد، ولدى المستخدمين شعور قوي بالعزلة وتكاليف التعلم المرتفعة.

4. لديها بالفعل إمكانات النظام الأساسي للبيانات الضخمة ولديها جميع أدوات تطبيق البيانات، وقد تم ربط بعض الأدوات، ولكن لم يتم تحديد سيناريو موحد وموحد بعد.

يوسع