ระบบการตั้งเวลางาน DolphinScheduler v3.2.2

Apache DolphinScheduler (ศูนย์บ่มเพาะ เดิมชื่อ EasyScheduler) เป็นระบบการกำหนดเวลางานเวิร์กโฟลว์แบบกระจายข้อมูลขนาดใหญ่ โดยส่วนใหญ่จะแก้ปัญหาการขึ้นต่อกันที่ซับซ้อนในการประมวลผล ETL ในระหว่างกระบวนการวิจัยและพัฒนาข้อมูลขนาดใหญ่ แต่ไม่สามารถตรวจสอบสถานะความสมบูรณ์ของงานได้โดยสัญชาตญาณ DolphinScheduler รวบรวมงานในลักษณะสตรีมมิ่ง DAG และสามารถตรวจสอบสถานะการทำงานของงานแบบเรียลไทม์ นอกจากนี้ยังรองรับการดำเนินการ เช่น การลองใหม่ การกู้คืนงานที่ล้มเหลวจากโหนดที่กำหนด การหยุดชั่วคราว และการฆ่างาน

คุณสมบัติการออกแบบ: ระบบการจัดตารางงานเวิร์กโฟลว์ DAG แบบเห็นภาพแบบกระจายและปรับขนาดได้ง่าย มุ่งมั่นที่จะแก้ไขการพึ่งพาที่ซับซ้อนในกระบวนการประมวลผลข้อมูล เพื่อให้ระบบการกำหนดเวลาสามารถนำมาใช้นอกกรอบในกระบวนการประมวลผลข้อมูลได้ วัตถุประสงค์หลักมีดังนี้

1. ใช้ไดอะแกรม DAG เพื่อเชื่อมโยงงานตามการขึ้นต่อกันของงาน ซึ่งสามารถตรวจสอบสถานะการทำงานของงานแบบเรียลไทม์ได้

2. รองรับงานหลากหลายประเภท: Shell, MR, Spark, SQL (mysql, postgresql, hive, sparksql), Python, Sub_Process, Procedure ฯลฯ

3. รองรับการกำหนดเวลาเวิร์กโฟลว์ การกำหนดเวลาการขึ้นต่อกัน การกำหนดเวลาด้วยตนเอง การหยุดชั่วคราว/หยุด/ดำเนินการต่อด้วยตนเอง และยังสนับสนุนการดำเนินการ เช่น การลองใหม่/การเตือนที่ล้มเหลว การกู้คืนที่ล้มเหลวจากโหนดที่ระบุ และการปิดงาน

4. สนับสนุนลำดับความสำคัญของเวิร์กโฟลว์ ลำดับความสำคัญของงาน การเฟลโอเวอร์ของงาน และการเตือน/ความล้มเหลวของการหมดเวลาของงาน

5. รองรับพารามิเตอร์สากลของเวิร์กโฟลว์และการตั้งค่าพารามิเตอร์ที่กำหนดเองของโหนด

6. รองรับการอัพโหลด/ดาวน์โหลดและการจัดการไฟล์ทรัพยากรออนไลน์ และรองรับการสร้างและแก้ไขไฟล์ออนไลน์

7. รองรับการดูและการเลื่อนบันทึกงานออนไลน์ การดาวน์โหลดบันทึกออนไลน์ ฯลฯ

8. ใช้คลัสเตอร์ HA และบรรลุการกระจายอำนาจของคลัสเตอร์หลักและคลัสเตอร์ผู้ปฏิบัติงานผ่าน Zookeeper

9. รองรับการดูโหลด CPU, หน่วยความจำ และ CPU ของ Master/Worker แบบออนไลน์

10. รองรับเวิร์กโฟลว์ที่ใช้แผนภูมิประวัติการทำงาน/การแสดงแผนภูมิแกนต์ สถิติสถานะงาน และสถิติสถานะกระบวนการ

11. รองรับหมายเลขเสริม

12. รองรับผู้เช่าหลายราย

13. สนับสนุนความเป็นสากล

14. ยังมีอีกมากที่รอพันธมิตรให้สำรวจ