DataSphereStudio ワンストップ データ アプリケーション開発および管理ポータル v1.2.1

DataSphere Studio (略して DSS) は、WeBank が開発したワンストップのデータ アプリケーション開発および管理ポータルです。

DataSphereStudio のワンストップ データ アプリケーション開発および管理ポータルは、プラグイン統合フレームワーク設計とコンピューティング ミドルウェア Linkis に基づいており、さまざまな上位層のデータ アプリケーション システムに簡単にアクセスできるため、データ開発がシンプルで使いやすくなります。

DataSphere Studio は、統一された UI の下で、ワークフロー スタイルのグラフィカルなドラッグ アンド ドロップ開発エクスペリエンスを使用して、データ交換、感度解除とクリーニング、分析とマイニング、品質検査、ビジュアル表示、データへのタイミング スケジューリングに至るまでのデータ アプリケーション開発のニーズを満たします。出力アプリケーションなど。完全なプロセス シナリオの要件。

DSS はプラグ可能な統合フレームワーク設計を採用しており、ユーザーは DSS が統合しているさまざまな機能コンポーネントを簡単かつ迅速に置き換えたり、ニーズに応じて新しい機能コンポーネントを追加したりできます。

Linkis コンピューティング ミドルウェアの接続、再利用、簡素化機能の助けにより、DSS には、高同時実行性、高可用性、マルチテナント分離、リソース管理と制御などの財務レベルの実行およびスケジューリング機能が本質的に備わっています。

コア機能

DSSの主な特徴

1. ワンストップ、フルプロセスのアプリケーション開発管理インターフェース

DSS は非常に高度な統合を実現しており、現在統合されているシステムは次のとおりです。

1. データ開発 IDE ツール ——Scriptis

2. データ視覚化ツール - Visualis (CreditEase Davinci による二次開発に基づく)

3. データ品質管理ツール——Qualitis

4. ワークフロースケジューリングツール——Azkaban

DSS のプラグイン フレームワーク設計モデルを使用すると、ユーザーは DSS が統合したさまざまな Web システムを迅速に置き換えることができます。たとえば、Scriptis を Zeppelin に置き換え、Azkaban を DolphinScheduler に置き換えます。

2. Linkis コンピューティング ミドルウェアに基づいて独自の AppJoint 設計コンセプトを作成する

AppJoint は、さまざまな上位層 Web システムを簡単かつ迅速に統合できる DSS の中核概念です。

AppJoint - アプリケーション ジョイントは、フロントエンドとバックエンドのアクセス仕様の統一セットを定義し、外部データ アプリケーション システムが迅速かつ簡単にアクセスできるようにし、DSS データ アプリケーション開発の一部となります。

DSS は複数の AppJoint を直列に接続し、リアルタイムの実行とスケジュールされたスケジュールをサポートするワークフローを形成します。ユーザーはドラッグ アンド ドロップするだけでデータ アプリケーションの開発プロセス全体を完了できます。

AppJoint は Linkis に接続されているため、外部データ アプリケーション システムにはリソースの管理と制御、同時実行制限、ユーザー リソース管理などの機能が備わっており、システム レベル全体でコンテキスト情報を共有できるため、アプリケーション アイランドに完全に別れを告げることができます。

3. プロジェクトレベルの管理単位

プロジェクトを管理単位として、各データ アプリケーション システムのビジネス アプリケーションを編成および管理し、データ アプリケーション システム全体での共同プロジェクト開発のための一連の共通標準を定義します。

4. 統合されたデータ アプリケーション コンポーネント

複数の AppJoint を実装することで、DSS はさまざまな上位層データ アプリケーション システムを統合し、基本的にユーザーのデータ開発ニーズを満たすことができます。

必要に応じて、ユーザーは新しいデータ アプリケーション システムを簡単に統合して、DSS データ アプリケーション開発プロセスを置き換えたり強化したりできます。

1. DSS スケジューリング機能 - Azkaban AppJoint

ユーザーの多くのデータ アプリケーションは通常、定期的なスケジュール機能を必要とします。

現在市場に出回っている既存のオープンソース スケジューリング システムは、他の上位層データ アプリケーション システムとの統合性が低く、統合することが困難です。

Azkaban AppJoint を実装することで、DSS はユーザーがワンクリックで調整されたワークフローをアズカバンに公開し、スケジュールを設定できるようにします。

また、DSS は、スケジューリング システム用の一連の標準および汎用 DSS ワークフロー解析および公開仕様を定義し、他のスケジューリング システムが低コストで簡単に DSS に接続できるようにします。

2. データ開発 - Scriptis AppJoint

スクリプティスとは何ですか?

Scriptis は、SQL、Pyspark、HiveQL、その他のスクリプトのオンライン作成をサポートし、実行のためにそれらを Linkis に送信するデータ分析 Web ツールです。また、UDF、関数、リソースの管理と制御、インテリジェントな診断などのエンタープライズ レベルの機能もサポートしています。

Scriptis AppJoint は、Scriptis のデータ開発機能を DSS に統合し、Scriptis のさまざまな種類のスクリプトが DSS ワークフローのノードとしてアプリケーション開発プロセスに参加できるようにします。

現在、HiveSQL、SparkSQL、Pyspark、Scala などのスクリプト ノード タイプがサポートされています。

3. データの視覚化 - Visualis AppJoint

ビジュアリスとは何ですか？

Visualis は、CreditEase オープンソース プロジェクト Davinci に基づいて開発されたデータ視覚化 BI ツールで、データ セキュリティと権限の観点から財務レベルのデータ視覚化機能をユーザーに提供します。

Visualis AppJoint は、Visualis for DSS のデータ視覚化機能を統合し、データ画面とダッシュボードを DSS ワークフローのノードとして使用し、上流のデータ マートに関連付けることを可能にします。

4. データ品質——Qualitis AppJoint

Qualitis AppJoint は、DSS のデータ品質検証機能を統合し、データ品質システムを DSS ワークフロー開発に統合し、データの整合性と正確性を検証します。

5. データ送信 - 送信側 AppJoint

Sender AppJoint は DSS のデータ送信機能を統合しており、現在、他のすべてのノードの結果セットを電子メールで送信できる SendEmail ノード タイプをサポートしています。

例: SendEmail ノードは、大きな表示データを電子メールとして直接送信できます。

6. シグナルノード——Signal AppJoint

EventChecker AppJoint は、ビジネスとプロセス間の分離と相互接続を強化するために使用されます。

DataChecker ノード: ライブラリ テーブル パーティションが存在するかどうかを確認します。

EventSender: ワークフローとプロジェクト全体にわたるメッセージ送信ノード。

EventReceiver: ワークフローとプロジェクトにわたるメッセージ受信ノード。

7. 関数ノード

空のノード、子ワークフロー ノード。

8. ノードの拡張

ユーザーは、ニーズに応じて、DSS によって統合されたさまざまな機能コンポーネントを簡単かつ迅速に置き換えたり、新しい機能コンポーネントを追加したりできます。

利用シーン

DataSphere Studio は次のシナリオに適しています。

1. ビッグ データ プラットフォームが構築中であるか、予備的な機能があるが、利用可能なデータ アプリケーション ツールがないシナリオ。

2. ビッグ データの基本プラットフォーム機能がすでに利用可能で、データ アプリケーション ツールがわずかしかないシナリオ。

3. ビッグデータの基本プラットフォーム機能とすべてのデータ応用ツールをすでに備えていますが、ツールはまだ接続されておらず、ユーザーは強い孤立感と高い学習コストを抱えています。

4. すでにビッグデータの基本プラットフォーム機能があり、すべてのデータ アプリケーション ツールが接続されていますが、統一および標準化されたシナリオはまだ定義されていません。

拡大する