DataSphereStudio One-Stop-Portal für die Entwicklung und Verwaltung von Datenanwendungen v1.2.1

DataSphere Studio (kurz DSS) ist ein von WeBank entwickeltes One-Stop-Portal für die Entwicklung und Verwaltung von Datenanwendungen.

Das One-Stop-Portal für die Entwicklung und Verwaltung von Datenanwendungen von DataSphereStudio basiert auf dem Plug-in-Integrations-Framework-Design und der Computing-Middleware Linkis, die problemlos auf verschiedene Datenanwendungssysteme der oberen Ebene zugreifen kann, wodurch die Datenentwicklung einfach und benutzerfreundlich wird.

Unter einer einheitlichen Benutzeroberfläche nutzt DataSphere Studio ein grafisches Drag-and-Drop-Entwicklungserlebnis im Workflow-Stil, um die Anforderungen der Datenanwendungsentwicklung vom Datenaustausch, Desensibilisierung und Bereinigung, Analyse und Mining, Qualitätsprüfung, visueller Anzeige und Zeitplanung bis hin zu Daten zu erfüllen Ausgabeanwendungen usw. Vollständige Prozessszenarioanforderungen.

DSS verwendet ein steckbares Integrationsframework-Design, das es Benutzern ermöglicht, verschiedene von DSS integrierte Funktionskomponenten einfach und schnell auszutauschen oder je nach Bedarf neue Funktionskomponenten hinzuzufügen.

Mithilfe der Verbindungs-, Wiederverwendungs- und Vereinfachungsfunktionen der Linkis-Computing-Middleware ist DSS von Natur aus mit Ausführungs- und Planungsfunktionen auf finanzieller Ebene wie hoher Parallelität, hoher Verfügbarkeit, mandantenfähiger Isolation sowie Ressourcenverwaltung und -kontrolle ausgestattet.

Kernfunktionen

Hauptmerkmale von DSS

1. Komplette Verwaltungsschnittstelle für die Anwendungsentwicklung aus einer Hand

DSS verfügt derzeit über einen sehr hohen Integrationsgrad

1. IDE-Tool für die Datenentwicklung – Scriptis

2. Datenvisualisierungstool – Visualis (basierend auf einer Sekundärentwicklung von CreditEase Davinci)

3. Datenqualitätsmanagement-Tool – Qualitis

4. Workflow-Planungstool – Azkaban

Das Plug-in-Framework-Designmodell von DSS ermöglicht es Benutzern, verschiedene von DSS integrierte Websysteme schnell zu ersetzen. Beispiel: Ersetzen Sie Scriptis durch Zeppelin und Askaban durch DolphinScheduler.

2. Erstellen Sie ein einzigartiges AppJoint-Designkonzept basierend auf der Linkis-Computing-Middleware

AppJoint ist das Kernkonzept von DSS, mit dem verschiedene Websysteme der oberen Schicht einfach und schnell integriert werden können.

AppJoint – Application Joint, definiert einen einheitlichen Satz von Front-End- und Back-End-Zugriffsspezifikationen, der externen Datenanwendungssystemen den schnellen und einfachen Zugriff ermöglicht und Teil der DSS-Datenanwendungsentwicklung wird.

DSS verbindet mehrere AppJoints in Reihe, um einen Workflow zu bilden, der die Ausführung in Echtzeit und die geplante Planung unterstützt. Benutzer können die gesamte Prozessentwicklung von Datenanwendungen durch einfaches Ziehen und Ablegen abschließen.

Da AppJoint mit Linkis verbunden ist, verfügt das externe Datenanwendungssystem über Funktionen zur Ressourcenverwaltung und -steuerung, Begrenzung der Parallelität, Benutzerressourcenverwaltung usw. und ermöglicht die gemeinsame Nutzung von Kontextinformationen über Systemebenen hinweg, wodurch Anwendungsinseln vollständig vermieden werden.

3. Managementeinheit auf Projektebene

Mit Project als Verwaltungseinheit organisiert und verwaltet es die Geschäftsanwendungen jedes Datenanwendungssystems und definiert eine Reihe gemeinsamer Standards für die kollaborative Projektentwicklung über Datenanwendungssysteme hinweg.

4. Integrierte Datenanwendungskomponenten

Durch die Implementierung mehrerer AppJoints hat DSS eine Vielzahl von Datenanwendungssystemen der oberen Ebene integriert, die grundsätzlich die Datenentwicklungsanforderungen der Benutzer erfüllen können.

Bei Bedarf können Benutzer problemlos neue Datenanwendungssysteme integrieren, um den DSS-Datenanwendungsentwicklungsprozess zu ersetzen oder zu bereichern.

1. DSS-Planungsfunktion – Azkaban AppJoint

Viele Datenanwendungen von Benutzern möchten normalerweise über periodische Planungsfunktionen verfügen.

Die bestehenden Open-Source-Planungssysteme, die derzeit auf dem Markt sind, weisen eine geringe Integration mit anderen Datenanwendungssystemen der oberen Schicht auf und sind schwierig zu integrieren.

Durch die Implementierung von Azkaban AppJoint ermöglicht DSS Benutzern, mit einem Klick einen orchestrierten Workflow zur geplanten Planung in Askaban zu veröffentlichen.

DSS definiert außerdem eine Reihe standardmäßiger und universeller DSS-Workflow-Analyse- und Veröffentlichungsspezifikationen für Planungssysteme, sodass andere Planungssysteme problemlos und kostengünstig eine Verbindung zu DSS herstellen können.

2. Datenentwicklung – Scriptis AppJoint

Was sind Scriptis?

Scriptis ist ein Datenanalyse-Webtool, das das Online-Schreiben von SQL-, Pyspark-, HiveQL- und anderen Skripten unterstützt und diese zur Ausführung an Linkis übermittelt. Es unterstützt auch Funktionen auf Unternehmensebene wie UDF, Funktionen, Ressourcenverwaltung und -steuerung sowie intelligente Diagnose.

Scriptis AppJoint integriert die Datenentwicklungsfunktionen von Scriptis in DSS und ermöglicht verschiedenen Skripttypen von Scriptis die Teilnahme am Anwendungsentwicklungsprozess als Knoten des DSS-Workflows.

Derzeit werden Skriptknotentypen wie HiveSQL, SparkSQL, Pyspark und Scala unterstützt.

3. Datenvisualisierung – Visualis AppJoint

Was ist Visualis?

Visualis ist ein BI-Tool zur Datenvisualisierung, das auf der Grundlage des Open-Source-Projekts Davinci von CreditEase entwickelt wurde. Es bietet Benutzern Datenvisualisierungsfunktionen auf Finanzebene in Bezug auf Datensicherheit und Berechtigungen.

Visualis AppJoint integriert die Datenvisualisierungsfunktionen von Visualis für DSS und ermöglicht die Verwendung von Datenbildschirmen und Dashboards als Knoten im DSS-Workflow und die Verknüpfung mit dem Upstream-Data-Mart.

4. Datenqualität – Qualitis AppJoint

Qualitis AppJoint integriert Funktionen zur Datenqualitätsüberprüfung für DSS, integriert das Datenqualitätssystem in die DSS-Workflow-Entwicklung und überprüft die Datenintegrität und -korrektheit.

5. Datenversand – Sender AppJoint

Sender AppJoint integriert Datensendefunktionen für DSS und unterstützt derzeit den Knotentyp SendEmail. Die Ergebnissätze aller anderen Knoten können per E-Mail gesendet werden.

Beispiel: Der SendEmail-Knoten kann die großen Anzeigedaten direkt als E-Mail senden.

6. Signalknoten – Signal AppJoint

EventChecker AppJoint wird verwendet, um die Entkopplung und Verbindung zwischen Geschäft und Prozessen zu stärken.

DataChecker-Knoten: Überprüfen Sie, ob die Bibliothekstabellenpartition vorhanden ist.

EventSender: Nachrichtensendeknoten über Workflows und Projekte hinweg.

EventReceiver: Nachrichtenempfangsknoten über Workflows und Projekte hinweg.

7. Funktionsknoten

Leerer Knoten, untergeordneter Workflow-Knoten.

8. Knotenerweiterung

Je nach Bedarf können Benutzer verschiedene von DSS integrierte Funktionskomponenten einfach und schnell austauschen oder neue Funktionskomponenten hinzufügen.

Nutzungsszenarien

DataSphere Studio eignet sich für die folgenden Szenarien

1. Szenarien, in denen eine Big-Data-Plattform aufgebaut wird oder über vorläufige Funktionen verfügt, aber keine Datenanwendungstools verfügbar sind.

2. Szenarien, in denen grundlegende Big-Data-Plattformfunktionen bereits verfügbar sind und es nur wenige Datenanwendungstools gibt.

3. Verfügt bereits über grundlegende Funktionen der Big-Data-Plattform und alle Datenanwendungstools, aber die Tools sind noch nicht verbunden, und die Benutzer haben ein starkes Gefühl der Isolation und hohe Lernkosten.

4. Verfügt bereits über grundlegende Funktionen der Big-Data-Plattform und über alle Datenanwendungstools. Einige Tools wurden angeschlossen, ein einheitliches und standardisiertes Szenario wurde jedoch noch nicht definiert.

Expandieren