Plataforma leve de troca de dados Exchangegis v1.1.3

Exchangegis é a plataforma leve de troca de dados de código aberto do WeBank, usada para transferir dados rapidamente em diferentes mídias de armazenamento e resolver problemas como complexidade e compatibilidade enfrentados no processo de troca de dados. O design adota a forma de arquitetura de microsserviços, e os serviços superiores e inferiores são fracamente acoplados, facilitando a realização de desenvolvimento iterativo personalizado e altamente escalável.

Exchangegis suporta transmissão de dados entre fontes de dados heterogêneas estruturadas e não estruturadas. Na camada de aplicação, possui recursos de negócios como controle de permissão de dados, alta disponibilidade de serviço de nó e isolamento de recursos multilocatários. recursos arquitetônicos como diversificação arquitetônica, plug-in de módulo e baixo acoplamento de componentes.

Os recursos de transmissão e troca do Exchangegis dependem de seu mecanismo de transmissão agregado subjacente. Sua camada superior define um modelo de parâmetros unificado para várias fontes de dados. Cada mecanismo de transmissão mapeia e configura o modelo de parâmetros e o converte no modelo de entrada do mecanismo. Cada vez que um mecanismo é agregado, um tipo de recurso do Exchangegis será adicionado, e o aprimoramento de recursos de um determinado tipo de mecanismo melhorará os recursos do Exchangegis. Agregação padrão e aprimoramento do mecanismo de transferência DataX do Alibaba.

Recursos do Exchange

1. Gerenciamento de fontes de dados

Compartilhe suas próprias fontes de dados vinculando projetos;

Defina as permissões externas da fonte de dados para controlar a entrada e a saída de dados.

2. Suporte a múltiplos motores de transmissão

O mecanismo de transporte é escalável horizontalmente;

Atualmente, o mecanismo de lote off-line DataX está totalmente agregado e o mecanismo derivado de lote de big data SQOOP está parcialmente agregado.

3. Gerenciamento e controle de tarefas quase em tempo real

Capture rapidamente o log da tarefa de transmissão e a taxa de transmissão e outras informações e feche a tarefa em tempo real;

Limite tarefas dinamicamente com base nas condições de largura de banda

4. Suporta transmissão não estruturada

A estrutura DataX é transformada para construir um canal rápido separado para fluxos binários, que é adequado para cenários de sincronização pura de dados sem conversão de dados.

5. Autoverificação do status da tarefa

Monitore tarefas de longa duração e tarefas com status anormal, libere recursos ocupados em tempo hábil e emita alarmes.