Portal integral de gestión y desarrollo de aplicaciones de datos DataSphereStudio v1.2.1

DataSphere Studio (DSS para abreviar) es un portal integral de gestión y desarrollo de aplicaciones de datos desarrollado por WeBank.

El portal integral de gestión y desarrollo de aplicaciones de datos de DataSphereStudio se basa en el diseño del marco de integración de complementos y el middleware informático Linkis, que puede acceder fácilmente a varios sistemas de aplicaciones de datos de capa superior, lo que hace que el desarrollo de datos sea simple y fácil de usar.

Bajo una interfaz de usuario unificada, DataSphere Studio utiliza una experiencia de desarrollo gráfico de arrastrar y soltar estilo flujo de trabajo para satisfacer las necesidades del desarrollo de aplicaciones de datos, desde el intercambio de datos, la desensibilización y limpieza, el análisis y la extracción, la inspección de calidad, la visualización visual y la programación de tiempos hasta los datos. aplicaciones de salida, etc. Requisitos completos del escenario del proceso.

DSS adopta un diseño de marco de integración conectable, que permite a los usuarios reemplazar de manera simple y rápida varios componentes funcionales que DSS ha integrado o agregar nuevos componentes funcionales según las necesidades.

Con la ayuda de las capacidades de conexión, reutilización y simplificación del middleware informático de Linkis, DSS está inherentemente equipado con capacidades de ejecución y programación a nivel financiero, como alta concurrencia, alta disponibilidad, aislamiento multiinquilino y gestión y control de recursos.

Características principales

Características principales de DSS

1. Interfaz de gestión de desarrollo de aplicaciones integral y de proceso completo

DSS tiene un grado de integración muy alto. Actualmente, los sistemas que se han integrado incluyen.

1. Herramienta IDE de desarrollo de datos——Scriptis

2. Herramienta de visualización de datos: Visualis (basada en el desarrollo secundario de CreditEase Davinci)

3. Herramienta de gestión de la calidad de los datos——Qualitis

4. Herramienta de programación del flujo de trabajo——Azkaban

El modelo de diseño del marco de complementos de DSS permite a los usuarios reemplazar rápidamente varios sistemas web que DSS ha integrado. Por ejemplo: reemplace Scriptis con Zeppelin y Azkaban con DolphinScheduler.

2. Cree un concepto de diseño de AppJoint único basado en el middleware informático de Linkis.

AppJoint es el concepto central de DSS que puede integrar fácil y rápidamente varios sistemas web de capa superior.

AppJoint: conjunto de aplicaciones, define un conjunto unificado de especificaciones de acceso front-end y back-end, lo que permite que los sistemas de aplicaciones de datos externos accedan rápida y fácilmente, convirtiéndose en parte del desarrollo de aplicaciones de datos DSS.

DSS conecta múltiples AppJoints en serie para formar un flujo de trabajo que admite la ejecución en tiempo real y la programación programada. Los usuarios pueden completar todo el proceso de desarrollo de aplicaciones de datos simplemente arrastrando y soltando.

Dado que AppJoint está conectado a Linkis, el sistema de aplicación de datos externos tiene capacidades de gestión y control de recursos, limitación de concurrencia, gestión de recursos del usuario, etc., y permite compartir información contextual entre niveles del sistema, despidiéndose por completo de las islas de aplicaciones.

3. Unidad de gestión a nivel de proyecto

Con Project como unidad de gestión, organiza y gestiona las aplicaciones comerciales de cada sistema de aplicación de datos y define un conjunto de estándares comunes para el desarrollo colaborativo de proyectos en todos los sistemas de aplicación de datos.

4. Componentes integrados de la aplicación de datos.

Al implementar múltiples AppJoints, DSS ha integrado una variedad de sistemas de aplicación de datos de capa superior, que básicamente pueden satisfacer las necesidades de desarrollo de datos de los usuarios.

Si es necesario, los usuarios pueden integrar fácilmente nuevos sistemas de aplicaciones de datos para reemplazar o enriquecer el proceso de desarrollo de aplicaciones de datos DSS.

1. Capacidad de programación DSS: Azkaban AppJoint

Muchas aplicaciones de datos de los usuarios normalmente quieren tener capacidades de programación periódica.

Los sistemas de programación de código abierto existentes actualmente en el mercado tienen baja integración con otros sistemas de aplicaciones de datos de capa superior y son difíciles de integrar.

Al implementar Azkaban AppJoint, DSS permite a los usuarios publicar un flujo de trabajo orquestado en Azkaban para una programación programada con un solo clic.

DSS también define un conjunto de especificaciones de publicación y análisis de flujo de trabajo DSS estándar y universales para sistemas de programación, lo que permite que otros sistemas de programación se conecten fácilmente con DSS a bajo costo.

2. Desarrollo de datos: Scriptis AppJoint

¿Qué son los Scriptis?

Scriptis es una herramienta web de análisis de datos que admite la escritura en línea de SQL, Pyspark, HiveQL y otros scripts y los envía a Linkis para su ejecución. También admite funciones de nivel empresarial como UDF, funciones, gestión y control de recursos y diagnóstico inteligente.

Scriptis AppJoint integra las capacidades de desarrollo de datos de Scriptis en DSS y permite que varios tipos de scripts de Scriptis participen en el proceso de desarrollo de aplicaciones como nodos del flujo de trabajo de DSS.

Actualmente, se admiten tipos de nodos de script como HiveSQL, SparkSQL, Pyspark y Scala.

3. Visualización de datos: Visualis AppJoint

¿Qué es Visualis?

Visualis es una herramienta de BI de visualización de datos desarrollada en base al proyecto de código abierto CreditEase Davinci. Proporciona a los usuarios capacidades de visualización de datos a nivel financiero en términos de seguridad y permisos de los datos.

Visualis AppJoint integra las capacidades de visualización de datos de Visualis para DSS y permite que las pantallas y paneles de datos se utilicen como nodos en el flujo de trabajo de DSS y se asocien con el centro de datos ascendente.

4. Calidad de los datos——Qualitis AppJoint

Qualitis AppJoint integra capacidades de verificación de la calidad de los datos para DSS, integra el sistema de calidad de los datos en el desarrollo del flujo de trabajo de DSS y verifica la integridad y corrección de los datos.

5. Envío de datos: remitente AppJoint

Sender AppJoint integra capacidades de envío de datos para DSS y actualmente admite el tipo de nodo SendEmail. Los conjuntos de resultados de todos los demás nodos se pueden enviar por correo electrónico.

Por ejemplo: el nodo SendEmail puede enviar directamente los datos de visualización grandes como un correo electrónico.

6. Nodo de señal——Signal AppJoint

EventChecker AppJoint se utiliza para fortalecer el desacoplamiento y la interconexión entre el negocio y los procesos.

Nodo DataChecker: compruebe si la partición de la tabla de la biblioteca existe.

EventSender: nodo de envío de mensajes entre flujos de trabajo y proyectos.

EventReceiver: nodo de recepción de mensajes en flujos de trabajo y proyectos.

7. Nodo de función

Nodo vacío, nodo de flujo de trabajo secundario.

8. Expansión de nodos

Según las necesidades, los usuarios pueden reemplazar de manera simple y rápida varios componentes funcionales que han sido integrados por DSS o agregar nuevos componentes funcionales.

Escenarios de uso

DataSphere Studio es adecuado para los siguientes escenarios

1. Escenarios en los que se está construyendo una plataforma de big data o tiene capacidades preliminares, pero no hay herramientas de aplicación de datos disponibles.

2. Escenarios en los que las capacidades básicas de la plataforma de big data ya están disponibles y solo existen unas pocas herramientas de aplicación de datos.

3. Ya tengo capacidades de plataforma básica de big data y todas las herramientas de aplicación de datos, pero las herramientas aún no se han conectado y los usuarios tienen una fuerte sensación de aislamiento y altos costos de aprendizaje.

4. Ya contamos con capacidades de plataforma básica de big data y contamos con todas las herramientas de aplicación de datos. Se han conectado algunas herramientas, pero aún no se ha definido un escenario unificado y estandarizado.

Expandir