DolphinScheduler-Aufgabenplanungssystem v3.2.2

Apache DolphinScheduler (Inkubator, früher EasyScheduler) ist ein verteiltes Big-Data-Workflow-Aufgabenplanungssystem. Es löst hauptsächlich die Probleme komplexer Abhängigkeiten bei der ETL-Verarbeitung während des Big-Data-Forschungs- und Entwicklungsprozesses, kann jedoch den Gesundheitsstatus von Aufgaben nicht intuitiv überwachen. DolphinScheduler stellt Aufgaben im DAG-Streaming-Verfahren zusammen und kann den Ausführungsstatus von Aufgaben in Echtzeit überwachen. Es unterstützt auch Vorgänge wie Wiederholungsversuche, Wiederherstellen fehlgeschlagener Aufgaben von bestimmten Knoten, Anhalten und Beenden von Aufgaben.

Designmerkmale: Ein verteiltes und leicht skalierbares visuelles DAG-Workflow-Aufgabenplanungssystem. Engagiert für die Lösung der komplizierten Abhängigkeiten im Datenverarbeitungsprozess, damit das Planungssystem sofort im Datenverarbeitungsprozess verwendet werden kann. Seine Hauptziele sind wie folgt

1. Verwenden Sie ein DAG-Diagramm, um Aufgaben entsprechend Aufgabenabhängigkeiten zuzuordnen, wodurch der Ausführungsstatus von Aufgaben in Echtzeit visuell überwacht werden kann.

2. Unterstützt eine Vielzahl von Aufgabentypen: Shell, MR, Spark, SQL (MySQL, Postgresql, Hive, Sparksql), Python, Sub_Process, Procedure usw.

3. Unterstützt geplante Workflow-Planung, Abhängigkeitsplanung, manuelle Planung, manuelles Anhalten/Stoppen/Fortsetzen sowie Vorgänge wie fehlgeschlagene Wiederholungen/Alarme, fehlgeschlagene Wiederherstellung von bestimmten Knoten und Kill-Aufgaben.

4. Unterstützt Workflow-Priorität, Aufgabenpriorität, Aufgaben-Failover und Aufgaben-Timeout-Alarm/Fehler

5. Unterstützen Sie globale Workflow-Parameter und benutzerdefinierte Knotenparametereinstellungen

6. Unterstützen Sie das Online-Upload/-Download und die Verwaltung von Ressourcendateien sowie die Online-Erstellung und -Bearbeitung von Dateien.

7. Unterstützt das Online-Anzeigen und Scrollen von Aufgabenprotokollen, das Online-Herunterladen von Protokollen usw.

8. Implementieren Sie Cluster-HA und erreichen Sie über Zookeeper eine Dezentralisierung von Master-Cluster und Worker-Cluster

9. Unterstützt die Online-Anzeige der Master/Worker-CPU-Auslastung, des Speichers und der CPU

10. Unterstützung der Workflow-Ausführung, Verlaufsbaum-/Gantt-Diagrammanzeige, Aufgabenstatusstatistiken und Prozessstatusstatistiken.

11. Support-Ergänzungsnummer

12. Unterstützen Sie die Mandantenfähigkeit

13. Unterstützen Sie die Internationalisierung

14. Es gibt noch mehr, die darauf warten, von Partnern erkundet zu werden