DataSphereStudio 원스톱 데이터 애플리케이션 개발 및 관리 포털 v1.2.1

DataSphere Studio(줄여서 DSS)는 WeBank에서 개발한 원스톱 데이터 애플리케이션 개발 및 관리 포털입니다.

DataSphereStudio의 원스톱 데이터 애플리케이션 개발 및 관리 포털은 플러그인 통합 프레임워크 설계와 컴퓨팅 미들웨어 Linkis를 기반으로 하며, 다양한 상위 계층 데이터 애플리케이션 시스템에 쉽게 접근할 수 있어 데이터 개발이 간단하고 사용하기 쉽습니다.

통합 UI에서 DataSphere Studio는 워크플로우 스타일의 그래픽 드래그 앤 드롭 개발 환경을 사용하여 데이터 교환, 둔감화 및 정리, 분석 및 마이닝, 품질 검사, 시각적 표시, 타이밍 예약부터 데이터까지 데이터 애플리케이션 개발 요구 사항을 충족합니다. 출력 응용 프로그램 등 전체 프로세스 시나리오 요구 사항.

DSS는 플러그형 통합 프레임워크 설계를 채택하여 사용자가 DSS가 통합한 다양한 기능 구성 요소를 간단하고 신속하게 교체하거나 필요에 따라 새로운 기능 구성 요소를 추가할 수 있습니다.

Linkis 컴퓨팅 미들웨어의 연결, 재사용 및 단순화 기능을 통해 DSS는 본질적으로 높은 동시성, 고가용성, 다중 테넌트 격리, 리소스 관리 및 제어와 같은 재무 수준의 실행 및 예약 기능을 갖추고 있습니다.

핵심 기능

DSS의 주요 기능

1. 원스톱, 전체 프로세스 애플리케이션 개발 관리 인터페이스

DSS는 현재 통합 수준이 매우 높습니다.

1. 데이터 개발 IDE 도구——Scriptis

2. 데이터 시각화 도구 - Visualis(CreditEase Davinci의 2차 개발 기반)

3. 데이터 품질 관리 도구 ——Qualitis

4. 작업 흐름 일정 도구——Azkaban

DSS의 플러그인 프레임워크 디자인 모델을 통해 사용자는 DSS가 통합한 다양한 웹 시스템을 신속하게 교체할 수 있습니다. 예를 들어 Scriptis를 Zeppelin으로 바꾸고 Azkaban을 DolphinScheduler로 바꾸세요.

2. Linkis 컴퓨팅 미들웨어를 기반으로 고유한 AppJoint 디자인 컨셉을 만듭니다.

AppJoint는 다양한 상위 계층 웹 시스템을 쉽고 빠르게 통합할 수 있는 DSS의 핵심 개념입니다.

AppJoint - 애플리케이션 조인트는 프런트엔드 및 백엔드 액세스 사양의 통합 세트를 정의하여 외부 데이터 애플리케이션 시스템이 빠르고 쉽게 액세스할 수 있도록 하며 DSS 데이터 애플리케이션 개발의 일부가 됩니다.

DSS는 여러 AppJoint를 직렬로 연결하여 실시간 실행 및 예약 스케줄링을 지원하는 워크플로우를 형성합니다. 사용자는 간단히 드래그 앤 드롭만으로 데이터 애플리케이션의 전체 프로세스 개발을 완료할 수 있습니다.

AppJoint가 Linkis에 연결되어 있기 때문에 외부 데이터 애플리케이션 시스템은 리소스 관리 및 제어, 동시성 제한, 사용자 리소스 관리 등의 기능을 갖추고 있으며 시스템 수준에서 컨텍스트 정보를 공유하여 애플리케이션 섬과 완전히 작별을 고할 수 있습니다.

3. 프로젝트 수준 관리 단위

Project를 관리 단위로 사용하여 각 데이터 응용 프로그램 시스템의 비즈니스 응용 프로그램을 구성 및 관리하고 데이터 응용 프로그램 시스템 전반에 걸친 공동 프로젝트 개발을 위한 공통 표준 세트를 정의합니다.

4. 통합 데이터 응용 구성요소

여러 AppJoint를 구현함으로써 DSS는 기본적으로 사용자의 데이터 개발 요구 사항을 충족할 수 있는 다양한 상위 계층 데이터 응용 프로그램 시스템을 통합했습니다.

필요한 경우 사용자는 새로운 데이터 응용 프로그램 시스템을 쉽게 통합하여 DSS 데이터 응용 프로그램 개발 프로세스를 대체하거나 강화할 수 있습니다.

1. DSS 스케줄링 기능 - Azkaban AppJoint

사용자의 많은 데이터 애플리케이션은 일반적으로 주기적인 예약 기능을 원합니다.

현재 시중에 나와 있는 기존 오픈소스 스케줄링 시스템은 다른 상위 계층 데이터 응용 시스템과의 통합성이 낮아 통합이 어렵다.

Azkaban AppJoint를 구현함으로써 DSS는 사용자가 한 번의 클릭으로 예약된 일정을 위해 조정된 워크플로를 Azkaban에 게시할 수 있도록 해줍니다.

DSS는 또한 일정 시스템에 대한 일련의 표준 및 범용 DSS 작업 흐름 구문 분석 및 게시 사양을 정의하므로 다른 일정 시스템이 저렴한 비용으로 DSS와 쉽게 연결할 수 있습니다.

2. 데이터 개발 - Scriptis AppJoint

스크립티스란 무엇인가요?

Scriptis는 SQL, Pyspark, HiveQL 및 기타 스크립트의 온라인 작성을 지원하고 실행을 위해 이를 Linkis에 제출하는 데이터 분석 웹 도구입니다. UDF, 기능, 리소스 관리 및 제어, 지능형 진단과 같은 엔터프라이즈급 기능도 지원합니다.

Scriptis AppJoint는 Scriptis의 데이터 개발 기능을 DSS에 통합하고 Scriptis의 다양한 스크립트 유형이 DSS 워크플로우의 노드로 애플리케이션 개발 프로세스에 참여할 수 있도록 합니다.

현재 HiveSQL, SparkSQL, Pyspark 및 Scala와 같은 스크립트 노드 유형이 지원됩니다.

3. 데이터 시각화 - Visualis AppJoint

비주얼리스란 무엇인가요?

Visualis는 CreditEase 오픈소스 프로젝트 Davinci를 기반으로 개발된 데이터 시각화 BI 도구로, 데이터 보안 및 권한 측면에서 사용자에게 금융 수준의 데이터 시각화 기능을 제공합니다.

Visualis AppJoint는 Visualis for DSS의 데이터 시각화 기능을 통합하고 데이터 화면과 대시보드를 DSS 워크플로우의 노드로 사용하고 업스트림 데이터 마트와 연결할 수 있도록 합니다.

4. 데이터 품질——Qualitis AppJoint

Qualitis AppJoint는 DSS를 위한 데이터 품질 검증 기능을 통합하고, 데이터 품질 시스템을 DSS 워크플로우 개발에 통합하며, 데이터 무결성과 정확성을 검증합니다.

5. 데이터 전송 - Sender AppJoint

Sender AppJoint는 DSS용 데이터 전송 기능을 통합하며 현재 SendEmail 노드 유형을 지원합니다. 다른 모든 노드의 결과 세트는 이메일을 통해 보낼 수 있습니다.

예: SendEmail 노드는 대규모 디스플레이 데이터를 이메일로 직접 보낼 수 있습니다.

6. 신호 노드 - 신호 AppJoint

EventChecker AppJoint는 비즈니스와 프로세스 간의 분리 및 상호 연결을 강화하는 데 사용됩니다.

DataChecker 노드: 라이브러리 테이블 파티션이 존재하는지 확인합니다.

EventSender: 워크플로 및 프로젝트 전반의 메시지 전송 노드입니다.

EventReceiver: 워크플로 및 프로젝트 전반의 메시지 수신 노드입니다.

7. 기능 노드

빈 노드, 하위 워크플로 노드.

8. 노드 확장

필요에 따라 사용자는 DSS로 통합된 다양한 기능 구성 요소를 간단하고 빠르게 교체하거나 새로운 기능 구성 요소를 추가할 수 있습니다.

사용 시나리오

DataSphere Studio는 다음 시나리오에 적합합니다.

1. 빅데이터 플랫폼이 구축 중이거나 예비 기능이 있지만 데이터 응용 도구를 사용할 수 없는 시나리오.

2. 빅데이터 기본 플랫폼 기능이 이미 제공되고 데이터 적용 도구가 소수인 시나리오.

3. 이미 빅데이터 기본 플랫폼 기능과 모든 데이터 응용 도구를 갖추고 있지만 도구가 아직 연결되지 않았으며 사용자는 고립감이 강하고 학습 비용이 높습니다.

4. 이미 빅데이터 기본 플랫폼 기능을 갖추고 모든 데이터 응용 도구를 갖추고 있습니다. 일부 도구는 연결되어 있지만 아직 통일되고 표준화된 시나리오가 정의되지 않았습니다.

확장하다