Plataforma ligera de intercambio de datos Exchangegis v1.1.3

Exchangegis es la plataforma de intercambio de datos liviana de código abierto de WeBank, que se utiliza para transferir rápidamente datos en diferentes medios de almacenamiento y resolver problemas como la complejidad y la compatibilidad que se enfrentan en el proceso de intercambio de datos. El diseño adopta la forma de una arquitectura de microservicio y los servicios superior e inferior están débilmente acoplados, lo que facilita el desarrollo iterativo personalizado y altamente escalable.

Exchangegis admite la transmisión de datos entre fuentes de datos heterogéneas estructuradas y no estructuradas. En la capa de aplicación, tiene funciones comerciales como control de permisos de datos, alta disponibilidad del servicio de nodos y aislamiento de recursos multiinquilino. características arquitectónicas como diversificación arquitectónica, complemento de módulos y bajo acoplamiento de componentes.

Las capacidades de transmisión e intercambio de Exchangegis se basan en su motor de transmisión agregado subyacente. Su capa superior define un modelo de parámetros unificado para varias fuentes de datos. Cada motor de transmisión asigna y configura el modelo de parámetros y lo convierte en el modelo de entrada del motor. Cada vez que se agrega un motor, se agregará un tipo de función de Exchangegis y la mejora de funciones de un determinado tipo de motor mejorará las funciones de Exchangegis. Agregación predeterminada y mejora del motor de transferencia DataX de Alibaba.

Funciones de intercambio

1. Gestión de fuentes de datos

Comparta sus propias fuentes de datos mediante proyectos vinculantes;

Establezca los permisos externos de la fuente de datos para controlar la entrada y salida de datos.

2. Soporte de motor de transmisión múltiple

El motor de transporte es escalable horizontalmente;

Actualmente, el motor por lotes fuera de línea DataX está completamente agregado y el motor derivado por lotes de big data SQOOP está parcialmente agregado.

3. Gestión y control de tareas casi en tiempo real

Capture rápidamente el registro de tareas de transmisión, la velocidad de transmisión y otra información, y cierre la tarea en tiempo real;

Limite dinámicamente las tareas según las condiciones del ancho de banda

4. Apoyar la transmisión no estructurada

El marco DataX se transforma para construir un canal rápido separado para flujos binarios, que es adecuado para escenarios de sincronización de datos pura sin conversión de datos.

5. Autocomprobación del estado de la tarea

Supervise tareas de larga duración y tareas con estado anormal, libere recursos ocupados de manera oportuna y emita alarmas.