Sistem penjadwalan tugas DolphinScheduler v3.2.2

Apache DolphinScheduler (inkubator, sebelumnya EasyScheduler) adalah sistem penjadwalan tugas alur kerja terdistribusi data besar. Sistem ini terutama memecahkan masalah ketergantungan kompleks dalam pemrosesan ETL selama proses penelitian dan pengembangan data besar, tetapi tidak dapat memantau status kesehatan tugas secara intuitif. DolphinScheduler merakit Tugas dengan cara streaming DAG dan dapat memantau status tugas yang berjalan secara real time. Ini juga mendukung operasi seperti mencoba ulang, memulihkan tugas yang gagal dari node yang ditentukan, menjeda, dan menghentikan tugas.

Fitur desain: Sistem penjadwalan tugas alur kerja DAG visual yang terdistribusi dan mudah diskalakan. Berkomitmen untuk menyelesaikan ketergantungan yang rumit dalam proses pemrosesan data, sehingga sistem penjadwalan dapat digunakan secara langsung dalam proses pemrosesan data. Tujuan utamanya adalah sebagai berikut

1. Gunakan diagram DAG untuk mengaitkan tugas menurut ketergantungan tugas, yang secara visual dapat memantau status tugas yang berjalan secara real time.

2. Mendukung berbagai jenis tugas: Shell, MR, Spark, SQL (mysql, postgresql, hive, sparksql), Python, Sub_Process, Procedure, dll.

3. Mendukung penjadwalan terjadwal alur kerja, penjadwalan ketergantungan, penjadwalan manual, jeda/berhenti/melanjutkan manual, dan juga mendukung operasi seperti percobaan ulang/alarm yang gagal, pemulihan yang gagal dari node yang ditentukan, dan tugas Hentikan.

4. Mendukung prioritas alur kerja, prioritas tugas, failover tugas, dan alarm/kegagalan batas waktu tugas

5. Mendukung parameter global alur kerja dan pengaturan parameter kustom simpul

6. Mendukung pengunggahan/pengunduhan online dan pengelolaan file sumber daya, serta mendukung pembuatan dan pengeditan file online.

7. Mendukung tampilan online dan pengguliran log tugas, pengunduhan log online, dll.

8. Menerapkan cluster HA dan mencapai desentralisasi cluster Master dan cluster Pekerja melalui Zookeeper

9. Mendukung tampilan online beban cpu Master/Pekerja, memori, dan cpu

10. Mendukung alur kerja yang menjalankan tampilan pohon riwayat/gantt chart, statistik status tugas, dan statistik status proses.

11. Nomor pelengkap pendukung

12. Mendukung multi-sewa

13. Mendukung internasionalisasi

14. Masih banyak lagi yang menunggu untuk dijelajahi oleh mitra