Portal completo de desenvolvimento e gerenciamento de aplicativos de dados DataSphereStudio v1.2.1

DataSphere Studio (DSS, abreviado) é um portal completo de desenvolvimento e gerenciamento de aplicativos de dados desenvolvido pelo WeBank.

O portal completo de desenvolvimento e gerenciamento de aplicativos de dados do DataSphereStudio é baseado no design da estrutura de integração de plug-ins e no middleware de computação Linkis, que pode acessar facilmente vários sistemas de aplicativos de dados de camada superior, tornando o desenvolvimento de dados simples e fácil de usar.

Sob uma UI unificada, o DataSphere Studio usa uma experiência de desenvolvimento gráfico de arrastar e soltar no estilo de fluxo de trabalho para atender às necessidades de desenvolvimento de aplicativos de dados, desde troca de dados, dessensibilização e limpeza, análise e mineração, inspeção de qualidade, exibição visual, agendamento de tempo para dados aplicações de saída, etc. Requisitos completos do cenário do processo.

O DSS adota um design de estrutura de integração conectável, permitindo aos usuários substituir de forma simples e rápida vários componentes funcionais que o DSS integrou ou adicionar novos componentes funcionais de acordo com as necessidades.

Com a ajuda dos recursos de conexão, reutilização e simplificação do middleware de computação Linkis, o DSS é inerentemente equipado com recursos de execução e agendamento de nível financeiro, como alta simultaneidade, alta disponibilidade, isolamento multilocatário e gerenciamento e controle de recursos.

Recursos principais

Principais características do DSS

1. Interface de gerenciamento de desenvolvimento de aplicativos de processo completo e completa

O DSS tem um grau de integração muito alto. Atualmente, os sistemas que foram integrados incluem.

1. Ferramenta IDE de desenvolvimento de dados —— Scriptis

2. Ferramenta de visualização de dados — Visualis (baseado no desenvolvimento secundário da CreditEase Davinci)

3. Ferramenta de gerenciamento de qualidade de dados —— Qualitis

4. Ferramenta de agendamento de fluxo de trabalho —— Azkaban

O modelo de design de estrutura de plug-in do DSS permite que os usuários substituam rapidamente vários sistemas web integrados pelo DSS. Por exemplo: substitua Scriptis por Zeppelin e Azkaban por DolphinScheduler.

2. Crie um conceito de design AppJoint exclusivo baseado no middleware de computação Linkis

AppJoint é o conceito central do DSS que pode integrar de forma fácil e rápida vários sistemas Web de camada superior.

AppJoint - conjunto de aplicativos, define um conjunto unificado de especificações de acesso front-end e back-end, permitindo que sistemas de aplicativos de dados externos acessem de forma rápida e fácil, tornando-se parte do desenvolvimento de aplicativos de dados DSS.

O DSS conecta vários AppJoints em série para formar um fluxo de trabalho que suporta execução em tempo real e agendamento agendado. Os usuários podem concluir todo o processo de desenvolvimento de aplicativos de dados simplesmente arrastando e soltando.

Como o AppJoint está conectado ao Linkis, o sistema de aplicação de dados externos tem recursos de gerenciamento e controle de recursos, limitação de simultaneidade, gerenciamento de recursos do usuário, etc., e permite que informações de contexto sejam compartilhadas entre os níveis do sistema, dando adeus completamente às ilhas de aplicação.

3. Unidade de gerenciamento em nível de projeto

Tendo o Project como unidade de gerenciamento, ele organiza e gerencia os aplicativos de negócios de cada sistema de aplicativos de dados e define um conjunto de padrões comuns para o desenvolvimento colaborativo de projetos em sistemas de aplicativos de dados.

4. Componentes integrados de aplicativos de dados

Ao implementar vários AppJoints, o DSS integrou uma variedade de sistemas de aplicação de dados de camada superior, que podem basicamente atender às necessidades de desenvolvimento de dados dos usuários.

Se necessário, os usuários podem integrar facilmente novos sistemas de aplicativos de dados para substituir ou enriquecer o processo de desenvolvimento de aplicativos de dados DSS.

1. Capacidade de agendamento DSS – Azkaban AppJoint

Muitos aplicativos de dados de usuários geralmente desejam ter recursos de agendamento periódico.

Os sistemas de agendamento de código aberto existentes atualmente no mercado têm baixa integração com outros sistemas de aplicação de dados de camada superior e são difíceis de integrar.

Ao implementar o Azkaban AppJoint, o DSS permite que os usuários publiquem um fluxo de trabalho orquestrado no Azkaban para agendamento agendado com um clique.

O DSS também define um conjunto de especificações padrão e universais de análise e publicação de fluxo de trabalho DSS para sistemas de agendamento, permitindo que outros sistemas de agendamento se conectem facilmente ao DSS a baixo custo.

2. Desenvolvimento de dados - Scriptis AppJoint

O que são Scriptis?

Scriptis é uma ferramenta web de análise de dados que oferece suporte à gravação online de SQL, Pyspark, HiveQL e outros scripts e os envia ao Linkis para execução. Ele também oferece suporte a recursos de nível empresarial, como UDF, funções, gerenciamento e controle de recursos e diagnóstico inteligente.

O Scriptis AppJoint integra os recursos de desenvolvimento de dados do Scriptis no DSS e permite que vários tipos de script do Scriptis participem do processo de desenvolvimento de aplicativos como nós do fluxo de trabalho do DSS.

Atualmente, há suporte para tipos de nós de script como HiveSQL, SparkSQL, Pyspark e Scala.

3. Visualização de dados - Visualis AppJoint

O que é Visualis?

Visualis é uma ferramenta de BI de visualização de dados desenvolvida com base no projeto de código aberto CreditEase Davinci. Ela fornece aos usuários recursos de visualização de dados de nível financeiro em termos de segurança e permissões de dados.

O Visualis AppJoint integra os recursos de visualização de dados do Visualis for DSS e permite que telas de dados e painéis sejam usados ​​como nós no fluxo de trabalho do DSS e associados ao data mart upstream.

4. Qualidade dos dados —— Qualitis AppJoint

Qualitis AppJoint integra recursos de verificação de qualidade de dados para DSS, integra o sistema de qualidade de dados no desenvolvimento do fluxo de trabalho DSS e verifica a integridade e correção dos dados.

5. Envio de dados - Sender AppJoint

Sender AppJoint integra recursos de envio de dados para DSS e atualmente oferece suporte ao tipo de nó SendEmail. Os conjuntos de resultados de todos os outros nós podem ser enviados por email.

Por exemplo: o nó SendEmail pode enviar diretamente os grandes dados de exibição como um email.

6. Nó de sinal —— Signal AppJoint

EventChecker AppJoint é usado para fortalecer a dissociação e interconexão entre negócios e processos.

Nó DataChecker: Verifique se a partição da tabela da biblioteca existe.

EventSender: nó de envio de mensagens em fluxos de trabalho e projetos.

EventReceiver: nó de recebimento de mensagens em fluxos de trabalho e projetos.

7. Nó de função

Nó vazio, nó de fluxo de trabalho filho.

8. Expansão do nó

De acordo com as necessidades, os usuários podem substituir de forma simples e rápida vários componentes funcionais que foram integrados pelo DSS ou adicionar novos componentes funcionais.

Cenários de uso

O DataSphere Studio é adequado para os seguintes cenários

1. Cenários em que uma plataforma de big data está sendo construída ou possui recursos preliminares, mas nenhuma ferramenta de aplicação de dados está disponível.

2. Cenários em que os recursos básicos da plataforma de big data já estão disponíveis e existem apenas algumas ferramentas de aplicação de dados.

3. Já possui recursos básicos de plataforma de big data e todas as ferramentas de aplicação de dados, mas as ferramentas ainda não foram conectadas e os usuários têm uma forte sensação de isolamento e altos custos de aprendizagem.

4. Já possuem capacidades básicas de plataforma de big data e possuem todas as ferramentas de aplicação de dados. Algumas ferramentas foram conectadas, mas um cenário unificado e padronizado ainda não foi definido.

Expandir