Plateforme légère d'échange de données Exchangegis v1.1.3

Exchangegis est la plate-forme d'échange de données légère et open source de WeBank, utilisée pour transférer rapidement des données sur différents supports de stockage et résoudre des problèmes tels que la complexité et la compatibilité rencontrés dans le processus d'échange de données. La conception adopte la forme d'une architecture de microservices, et les services supérieurs et inférieurs sont faiblement couplés, ce qui facilite la réalisation d'un développement itératif personnalisé et hautement évolutif.

Exchangegis prend en charge la transmission de données entre des sources de données hétérogènes structurées et non structurées. Sur la couche d'application, il dispose de fonctionnalités commerciales telles que le contrôle des autorisations de données, la haute disponibilité du service de nœud et l'isolation des ressources multi-locataires. Sur la couche de données, il dispose également d'une transmission. caractéristiques architecturales telles que la diversification architecturale, le module enfichable et le faible couplage des composants.

Les capacités de transmission et d'échange d'Exchangegis reposent sur son moteur de transmission agrégé sous-jacent. Sa couche supérieure définit un modèle de paramètres unifié pour diverses sources de données, mappe et configure le modèle de paramètres et le convertit en modèle d'entrée du moteur. Chaque fois qu'un moteur est agrégé, un type de fonctionnalité Exchangegis sera ajouté, et l'amélioration des fonctionnalités d'un certain type de moteur améliorera les fonctionnalités d'Exchangegis. Agrégation par défaut et amélioration du moteur de transfert DataX d'Alibaba.

Fonctionnalités d'échange

1. Gestion des sources de données

Partagez vos propres sources de données en liant des projets ;

Définissez les autorisations externes de la source de données pour contrôler les entrées et sorties de données.

2. Prise en charge de moteurs à transmission multiple

Le moteur de transport est évolutif horizontalement ;

Actuellement, le moteur de lots hors ligne DataX est entièrement agrégé et le moteur dérivé de lots de Big Data SQOOP est partiellement agrégé.

3. Gestion et contrôle des tâches en temps quasi réel

Capturez rapidement le journal des tâches de transmission, le taux de transmission et d'autres informations, et clôturez la tâche en temps réel ;

Limiter dynamiquement les tâches en fonction des conditions de bande passante

4. Prise en charge de la transmission non structurée

Le framework DataX est transformé pour créer un canal rapide distinct pour les flux binaires, adapté aux scénarios de synchronisation de données pures sans conversion de données.

5. Auto-vérification de l'état des tâches

Surveillez les tâches de longue durée et les tâches présentant un statut anormal, libérez les ressources occupées en temps opportun et émettez des alarmes.