DataSphereStudio พอร์ทัลการพัฒนาและการจัดการแอปพลิเคชันข้อมูลแบบครบวงจร v1.2.1

DataSphere Studio (เรียกสั้น ๆ ว่า DSS) คือพอร์ทัลการพัฒนาและการจัดการแอปพลิเคชันข้อมูลแบบครบวงจรที่พัฒนาโดย WeBank

พอร์ทัลการพัฒนาและการจัดการแอปพลิเคชันข้อมูลแบบครบวงจรของ DataSphereStudio ขึ้นอยู่กับการออกแบบเฟรมเวิร์กการรวมปลั๊กอินและมิดเดิลแวร์การประมวลผล Linkis ซึ่งสามารถเข้าถึงระบบแอปพลิเคชันข้อมูลชั้นบนต่างๆ ได้อย่างง่ายดาย ทำให้การพัฒนาข้อมูลเป็นเรื่องง่ายและใช้งานง่าย

ภายใต้ UI แบบรวมศูนย์ DataSphere Studio ใช้ประสบการณ์การพัฒนาแบบลากและวางแบบกราฟิกสไตล์เวิร์กโฟลว์ เพื่อตอบสนองความต้องการการพัฒนาแอปพลิเคชันข้อมูล ตั้งแต่การแลกเปลี่ยนข้อมูล การลดความไวและการทำความสะอาด การวิเคราะห์และการขุด การตรวจสอบคุณภาพ การแสดงภาพ การกำหนดเวลาไปยังข้อมูล การใช้งานเอาท์พุต ฯลฯ ข้อกำหนดสถานการณ์จำลองกระบวนการทั้งหมด

DSS ใช้การออกแบบเฟรมเวิร์กการรวมแบบเสียบปลั๊กได้ ช่วยให้ผู้ใช้สามารถเปลี่ยนส่วนประกอบการทำงานต่างๆ ที่ DSS บูรณาการไว้ได้อย่างง่ายดายและรวดเร็ว หรือเพิ่มส่วนประกอบการทำงานใหม่ๆ ตามความต้องการ

ด้วยความช่วยเหลือของการเชื่อมต่อ การใช้ซ้ำ และลดความซับซ้อนของมิดเดิลแวร์คอมพิวเตอร์ของ Linkis DSS จึงมีความสามารถในการดำเนินการและกำหนดเวลาในระดับการเงิน เช่น การทำงานพร้อมกันสูง ความพร้อมใช้งานสูง การแยกผู้เช่าหลายราย ตลอดจนการจัดการและการควบคุมทรัพยากร

คุณสมบัติหลัก

คุณสมบัติหลักของ DSS

1. อินเทอร์เฟซการจัดการการพัฒนาแอปพลิเคชันแบบครบวงจรในที่เดียว

DSS มีการบูรณาการในระดับสูงมาก ปัจจุบันระบบที่ได้รับการบูรณาการ ได้แก่

1. เครื่องมือ IDE การพัฒนาข้อมูล——Scriptis

2. เครื่องมือสร้างภาพข้อมูล—Visualis (อิงตามการพัฒนารองโดย CreditEase Davinci)

3. เครื่องมือการจัดการคุณภาพข้อมูล——Qualitis

4. เครื่องมือกำหนดเวลาเวิร์กโฟลว์——อัซคาบัน

โมเดลการออกแบบเฟรมเวิร์กปลั๊กอินของ DSS ช่วยให้ผู้ใช้สามารถแทนที่ระบบเว็บต่างๆ ที่ DSS รวมเข้าด้วยกันได้อย่างรวดเร็ว ตัวอย่างเช่น: แทนที่ Scriptis ด้วย Zeppelin และ Azkaban ด้วย DolphinScheduler

2. สร้างแนวคิดการออกแบบ AppJoint ที่เป็นเอกลักษณ์โดยอิงจากมิดเดิลแวร์การประมวลผลของ Linkis

AppJoint เป็นแนวคิดหลักของ DSS ที่สามารถรวมระบบเว็บชั้นบนต่างๆ ได้อย่างง่ายดายและรวดเร็ว

AppJoint - ข้อต่อแอปพลิเคชัน กำหนดชุดข้อกำหนดการเข้าถึงส่วนหน้าและส่วนหลังแบบรวม ช่วยให้ระบบแอปพลิเคชันข้อมูลภายนอกเข้าถึงได้อย่างรวดเร็วและง่ายดาย กลายเป็นส่วนหนึ่งของการพัฒนาแอปพลิเคชันข้อมูล DSS

DSS เชื่อมต่อ AppJoints หลายรายการเป็นอนุกรมเพื่อสร้างเวิร์กโฟลว์ที่รองรับการดำเนินการแบบเรียลไทม์และการจัดกำหนดการ ผู้ใช้สามารถดำเนินการพัฒนาแอปพลิเคชันข้อมูลทั้งหมดให้เสร็จสิ้นได้เพียงแค่ลากและวาง

เนื่องจาก AppJoint เชื่อมต่อกับ Linkis ระบบแอปพลิเคชันข้อมูลภายนอกจึงมีความสามารถในการจัดการและควบคุมทรัพยากร การจำกัดการทำงานพร้อมกัน การจัดการทรัพยากรผู้ใช้ ฯลฯ และอนุญาตให้แบ่งปันข้อมูลบริบทข้ามระดับระบบ เป็นการบอกลาเกาะแอปพลิเคชันโดยสิ้นเชิง

3. หน่วยจัดการระดับโครงการ

โดยมี Project เป็นหน่วยการจัดการ จะจัดระเบียบและจัดการแอปพลิเคชันทางธุรกิจของระบบแอปพลิเคชันข้อมูลแต่ละระบบ และกำหนดชุดมาตรฐานทั่วไปสำหรับการพัฒนาโครงการความร่วมมือข้ามระบบแอปพลิเคชันข้อมูล

4. ส่วนประกอบแอปพลิเคชันข้อมูลแบบรวม

ด้วยการใช้ AppJoints หลายตัว DSS ได้ผสานรวมระบบแอปพลิเคชันข้อมูลชั้นบนที่หลากหลาย ซึ่งโดยพื้นฐานแล้วสามารถตอบสนองความต้องการในการพัฒนาข้อมูลของผู้ใช้ได้

หากจำเป็น ผู้ใช้สามารถรวมระบบแอปพลิเคชันข้อมูลใหม่ได้อย่างง่ายดายเพื่อแทนที่หรือเพิ่มคุณค่าให้กับกระบวนการพัฒนาแอปพลิเคชันข้อมูล DSS

1. ความสามารถในการกำหนดเวลา DSS—Azkaban AppJoint

แอปพลิเคชันข้อมูลจำนวนมากของผู้ใช้มักต้องการให้มีความสามารถในการจัดกำหนดการเป็นระยะ

ระบบกำหนดเวลาโอเพ่นซอร์สที่มีอยู่ในตลาดในปัจจุบันมีการผสานรวมกับระบบแอปพลิเคชันข้อมูลชั้นบนอื่นๆ ในระดับต่ำ และยากต่อการผสานรวม

ด้วยการใช้ Azkaban AppJoint ทำให้ DSS อนุญาตให้ผู้ใช้เผยแพร่เวิร์กโฟลว์ที่จัดทำขึ้นไปยัง Azkaban เพื่อกำหนดเวลาได้ด้วยคลิกเดียว

DSS ยังกำหนดชุดของการแยกวิเคราะห์เวิร์กโฟลว์ DSS มาตรฐานและสากลและข้อกำหนดการเผยแพร่สำหรับระบบการจัดกำหนดการ ช่วยให้ระบบการจัดกำหนดการอื่นๆ เชื่อมต่อกับ DSS ได้อย่างง่ายดายด้วยต้นทุนที่ต่ำ

2. การพัฒนาข้อมูล - Scriptis AppJoint

Scriptis คืออะไร?

Scriptis คือเครื่องมือเว็บวิเคราะห์ข้อมูลที่รองรับการเขียน SQL, Pyspark, HiveQL และสคริปต์อื่นๆ แบบออนไลน์ และส่งไปยัง Linkis เพื่อดำเนินการ นอกจากนี้ ยังรองรับฟีเจอร์ระดับองค์กร เช่น UDF, ฟังก์ชัน, การจัดการและการควบคุมทรัพยากร และการวินิจฉัยอัจฉริยะ

Scriptis AppJoint ผสานรวมความสามารถในการพัฒนาข้อมูลของ Scriptis เข้ากับ DSS และอนุญาตให้ Scriptis ประเภทต่างๆ เข้าร่วมในกระบวนการพัฒนาแอปพลิเคชันในฐานะโหนดของเวิร์กโฟลว์ DSS

ในปัจจุบัน รองรับประเภทโหนดสคริปต์ เช่น HiveSQL, SparkSQL, Pyspark และ Scala

3. การแสดงข้อมูล - Visualis AppJoint

Visualis คืออะไร?

Visualis เป็นเครื่องมือ BI การแสดงข้อมูลที่พัฒนาขึ้นจากโครงการโอเพ่นซอร์ส CreditEase Davinci โดยให้ความสามารถในการแสดงข้อมูลในระดับการเงินแก่ผู้ใช้ในแง่ของความปลอดภัยของข้อมูลและการอนุญาต

Visualis AppJoint ผสานรวมความสามารถในการสร้างภาพข้อมูลของ Visualis สำหรับ DSS และอนุญาตให้ใช้หน้าจอข้อมูลและแดชบอร์ดเป็นโหนดในเวิร์กโฟลว์ DSS และเชื่อมโยงกับศูนย์ข้อมูลอัพสตรีม

4. คุณภาพของข้อมูล——Qualitis AppJoint

Qualitis AppJoint ผสานรวมความสามารถในการตรวจสอบคุณภาพข้อมูลสำหรับ DSS รวมระบบคุณภาพข้อมูลเข้ากับการพัฒนาเวิร์กโฟลว์ DSS และตรวจสอบความสมบูรณ์และความถูกต้องของข้อมูล

5. การส่งข้อมูล - Sender AppJoint

Sender AppJoint ผสานรวมความสามารถในการส่งข้อมูลสำหรับ DSS และปัจจุบันรองรับประเภทโหนด SendEmail ชุดผลลัพธ์ของโหนดอื่นๆ ทั้งหมดสามารถส่งทางอีเมลได้

ตัวอย่างเช่น: โหนด SendEmail สามารถส่งข้อมูลการแสดงผลขนาดใหญ่เป็นอีเมลได้โดยตรง

6. โหนดสัญญาณ —— AppJoint สัญญาณ

EventChecker AppJoint ใช้เพื่อเสริมสร้างการแยกส่วนและการเชื่อมโยงระหว่างธุรกิจและกระบวนการ

โหนด DataChecker: ตรวจสอบว่ามีพาร์ติชันตารางไลบรารีอยู่หรือไม่

EventSender: โหนดการส่งข้อความข้ามเวิร์กโฟลว์และโปรเจ็กต์

EventReceiver: โหนดรับข้อความระหว่างเวิร์กโฟลว์และโปรเจ็กต์

7. โหนดฟังก์ชัน

โหนดว่างเปล่า โหนดเวิร์กโฟลว์ลูก

8. การขยายโหนด

ตามความต้องการ ผู้ใช้สามารถเปลี่ยนส่วนประกอบการทำงานต่างๆ ที่ DSS บูรณาการได้อย่างง่ายดายและรวดเร็ว หรือเพิ่มส่วนประกอบการทำงานใหม่

สถานการณ์การใช้งาน

DataSphere Studio เหมาะสำหรับสถานการณ์ต่อไปนี้

1. สถานการณ์ที่มีการสร้างแพลตฟอร์ม Big Data หรือมีความสามารถเบื้องต้น แต่ไม่มีเครื่องมือในการประยุกต์ใช้ข้อมูล

2. สถานการณ์ที่ความสามารถพื้นฐานของแพลตฟอร์ม big data มีอยู่แล้วและมีเครื่องมือแอปพลิเคชันข้อมูลเพียงไม่กี่รายการ

3. มีความสามารถแพลตฟอร์มพื้นฐาน Big Data อยู่แล้วและมีเครื่องมือแอปพลิเคชันข้อมูลทั้งหมด แต่เครื่องมือยังไม่ได้เชื่อมต่อ และผู้ใช้มีความรู้สึกโดดเดี่ยวและมีค่าใช้จ่ายในการเรียนรู้สูง

4. มีความสามารถแพลตฟอร์มพื้นฐาน big data และมีเครื่องมือแอปพลิเคชันข้อมูลทั้งหมดเชื่อมต่อกัน แต่ยังไม่ได้กำหนดสถานการณ์ที่เป็นหนึ่งเดียวและเป็นมาตรฐาน

ขยาย