DolphinScheduler 작업 스케줄링 시스템 v3.2.2

자바 소스 코드

3.2.2

다운로드

Apache DolphinScheduler(인큐베이터, 이전 EasyScheduler)는 빅데이터 분산 워크플로우 작업 스케줄링 시스템으로, 빅데이터 연구 및 개발 프로세스 중 ETL 처리의 복잡한 종속성 문제를 주로 해결하지만 작업의 상태를 직관적으로 모니터링할 수는 없습니다. DolphinScheduler는 DAG 스트리밍 방식으로 작업을 조합하고 작업의 실행 상태를 실시간으로 모니터링할 수 있습니다. 또한 재시도, 지정된 노드에서 실패한 작업 복구, 작업 일시 중지 및 종료와 같은 작업도 지원합니다.

설계 기능: 분산되고 쉽게 확장 가능한 시각적 DAG 워크플로 작업 예약 시스템입니다. 데이터 처리 프로세스의 복잡한 종속성을 해결하여 데이터 처리 프로세스에서 스케줄링 시스템을 즉시 사용할 수 있도록 최선을 다하고 있습니다. 주요 목적은 다음과 같습니다

1. DAG 다이어그램을 사용하여 작업 종속성에 따라 작업을 연결합니다. 이를 통해 작업 실행 상태를 실시간으로 시각적으로 모니터링할 수 있습니다.

2. Shell, MR, Spark, SQL(mysql, postgresql, hive, Sparksql), Python, Sub_Process, Procedure 등 다양한 작업 유형을 지원합니다.

3. 워크플로 예약 예약, 종속성 예약, 수동 예약, 수동 일시 중지/중지/재개를 지원하고 재시도 실패/경보, 지정된 노드에서 복구 실패, 작업 종료와 같은 작업도 지원합니다.

4. 워크플로 우선순위, 작업 우선순위, 작업 장애 조치 및 작업 시간 초과 경보/실패를 지원합니다.

5. 워크플로우 전역 매개변수 및 노드 사용자 정의 매개변수 설정 지원

6. 리소스 파일의 온라인 업로드/다운로드 및 관리를 지원하고 온라인 파일 생성 및 편집을 지원합니다.

7. 작업 로그 온라인 보기 및 스크롤, 로그 온라인 다운로드 등을 지원합니다.

8. Zookeeper를 통해 클러스터 HA를 구현하고 마스터 클러스터와 워커 클러스터의 분산화를 달성합니다.

9. 마스터/워커 CPU 로드, 메모리 및 CPU에 대한 온라인 보기 지원

10. 이력 트리/간트 차트 표시, 작업 상태 통계 및 프로세스 상태 통계를 실행하는 워크플로를 지원합니다.

11. 지원 보완 번호