Portail unique de développement et de gestion d'applications de données DataSphereStudio v1.2.1

DataSphere Studio (DSS en abrégé) est un portail unique de développement et de gestion d'applications de données développé par WeBank.

Le portail unique de développement et de gestion d'applications de données de DataSphereStudio est basé sur la conception d'un cadre d'intégration de plug-ins et sur le middleware informatique Linkis, qui peut facilement accéder à divers systèmes d'applications de données de couche supérieure, rendant le développement de données simple et facile à utiliser.

Sous une interface utilisateur unifiée, DataSphere Studio utilise une expérience de développement graphique par glisser-déposer de style workflow pour répondre aux besoins de développement d'applications de données depuis l'échange de données, la désensibilisation et le nettoyage, l'analyse et l'exploration, l'inspection de la qualité, l'affichage visuel, la planification du timing des données. applications de sortie, etc. Exigences du scénario de processus complet.

DSS adopte une conception de cadre d'intégration enfichable, permettant aux utilisateurs de remplacer simplement et rapidement divers composants fonctionnels intégrés par DSS, ou d'ajouter de nouveaux composants fonctionnels en fonction des besoins.

Grâce aux capacités de connexion, de réutilisation et de simplification du middleware informatique Linkis, DSS est intrinsèquement équipé de capacités d'exécution et de planification au niveau financier telles qu'une simultanéité élevée, une haute disponibilité, une isolation multi-locataires et une gestion et un contrôle des ressources.

Fonctionnalités principales

Principales caractéristiques du DSS

1. Interface de gestion du développement d'applications à guichet unique et complet

DSS a un très haut degré d'intégration. Actuellement, les systèmes qui ont été intégrés comprennent.

1. Outil IDE de développement de données——Scriptis

2. Outil de visualisation de données — Visualis (basé sur un développement secondaire par CreditEase Davinci)

3. Outil de gestion de la qualité des données——Qualitis

4. Outil de planification de flux de travail——Azkaban

Le modèle de conception de framework de plug-in de DSS permet aux utilisateurs de remplacer rapidement divers systèmes Web intégrés par DSS. Par exemple : remplacez Scriptis par Zeppelin et Azkaban par DolphinScheduler.

2. Créez un concept de conception AppJoint unique basé sur le middleware informatique Linkis

AppJoint est le concept de base de DSS qui peut intégrer facilement et rapidement divers systèmes Web de couche supérieure.

AppJoint - joint d'application, définit un ensemble unifié de spécifications d'accès front-end et back-end, permettant aux systèmes d'application de données externes d'accéder rapidement et facilement, devenant ainsi une partie du développement d'applications de données DSS.

DSS connecte plusieurs AppJoints en série pour former un flux de travail qui prend en charge l'exécution en temps réel et la planification planifiée. Les utilisateurs peuvent terminer l'ensemble du processus de développement des applications de données par simple glisser-déposer.

Étant donné qu'AppJoint est connecté à Linkis, le système d'application de données externe possède les capacités de gestion et de contrôle des ressources, de limitation de la concurrence, de gestion des ressources utilisateur, etc., et permet de partager des informations contextuelles entre les niveaux du système, faisant complètement ses adieux aux îlots d'applications.

3. Unité de gestion au niveau du projet

Avec Project comme unité de gestion, il organise et gère les applications métier de chaque système d'application de données et définit un ensemble de normes communes pour le développement de projets collaboratifs entre les systèmes d'application de données.

4. Composants d'application de données intégrés

En implémentant plusieurs AppJoints, DSS a intégré une variété de systèmes d'application de données de couche supérieure, qui peuvent essentiellement répondre aux besoins de développement de données des utilisateurs.

Si nécessaire, les utilisateurs peuvent facilement intégrer de nouveaux systèmes d'application de données pour remplacer ou enrichir le processus de développement d'applications de données DSS.

1. Capacité de planification DSS – Azkaban AppJoint

De nombreuses applications de données des utilisateurs souhaitent généralement disposer de capacités de planification périodique.

Les systèmes de planification open source actuellement sur le marché ont une faible intégration avec d'autres systèmes d'application de données de couche supérieure et sont difficiles à intégrer.

En implémentant Azkaban AppJoint, DSS permet aux utilisateurs de publier un flux de travail orchestré sur Azkaban pour une planification planifiée en un seul clic.

DSS définit également un ensemble de spécifications standard et universelles d'analyse et de publication de flux de travail DSS pour les systèmes de planification, permettant à d'autres systèmes de planification de se connecter facilement à DSS à faible coût.

2. Développement de données - Scriptis AppJoint

Que sont les Scriptis ?

Scriptis est un outil Web d'analyse de données qui prend en charge l'écriture en ligne de scripts SQL, Pyspark, HiveQL et autres et les soumet à Linkis pour exécution. Il prend également en charge des fonctionnalités de niveau entreprise telles que l'UDF, les fonctions, la gestion et le contrôle des ressources et le diagnostic intelligent.

Scriptis AppJoint intègre les capacités de développement de données de Scriptis dans DSS et permet à différents types de scripts de Scriptis de participer au processus de développement d'applications en tant que nœuds du flux de travail DSS.

Actuellement, les types de nœuds de script tels que HiveSQL, SparkSQL, Pyspark et Scala sont pris en charge.

3. Visualisation des données - Visualis AppJoint

Qu’est-ce que Visualis ?

Visualis est un outil BI de visualisation de données développé sur la base du projet open source CreditEase Davinci. Il offre aux utilisateurs des capacités de visualisation de données au niveau financier en termes de sécurité des données et d'autorisations.

Visualis AppJoint intègre les capacités de visualisation de données de Visualis pour DSS et permet d'utiliser des écrans de données et des tableaux de bord comme nœuds dans le flux de travail DSS et d'être associés au magasin de données en amont.

4. Qualité des données——Qualitis AppJoint

Qualitis AppJoint intègre des capacités de vérification de la qualité des données pour DSS, intègre le système de qualité des données dans le développement du flux de travail DSS et vérifie l'intégrité et l'exactitude des données.

5. Envoi de données - Sender AppJoint

Sender AppJoint intègre des capacités d'envoi de données pour DSS et prend actuellement en charge le type de nœud SendEmail. Les ensembles de résultats de tous les autres nœuds peuvent être envoyés par e-mail.

Par exemple : le nœud SendEmail peut envoyer directement les données sur grand écran sous forme d'e-mail.

6. Nœud de signal——Signal AppJoint

EventChecker AppJoint est utilisé pour renforcer le découplage et l'interconnexion entre l'entreprise et les processus.

Nœud DataChecker : vérifiez si la partition de la table de bibliothèque existe.

EventSender : nœud d'envoi de messages à travers les flux de travail et les projets.

EventReceiver : nœud de réception de messages dans les flux de travail et les projets.

7. Nœud de fonction

Nœud vide, nœud de workflow enfant.

8. Extension des nœuds

Selon les besoins, les utilisateurs peuvent remplacer simplement et rapidement différents composants fonctionnels intégrés par DSS, ou ajouter de nouveaux composants fonctionnels.

Scénarios d'utilisation

DataSphere Studio convient aux scénarios suivants

1. Scénarios dans lesquels une plateforme Big Data est en cours de construction ou dispose de fonctionnalités préliminaires, mais aucun outil d'application de données n'est disponible.

2. Scénarios dans lesquels les capacités de base de la plateforme Big Data sont déjà disponibles et où il n'existe que quelques outils d'application de données.

3. Disposez déjà des capacités de base de la plate-forme Big Data et de tous les outils d'application de données, mais les outils ne sont pas encore connectés et les utilisateurs ont un fort sentiment d'isolement et des coûts d'apprentissage élevés.

4. Disposez déjà des capacités de base de la plate-forme Big Data et de tous les outils d'application de données. Certains outils ont été connectés, mais un scénario unifié et standardisé n'a pas encore été défini.

Développer