Exchangegis leichte Datenaustauschplattform v1.1.3
1.1.3
Exchangegis ist die leichtgewichtige Open-Source-Datenaustauschplattform von WeBank, die zur schnellen Übertragung von Daten in verschiedene Speichermedien und zur Lösung von Problemen wie Komplexität und Kompatibilität im Datenaustauschprozess verwendet wird. Das Design nimmt die Form einer Microservice-Architektur an, und die oberen und unteren Dienste sind lose gekoppelt, was die Durchführung einer personalisierten und hoch skalierbaren iterativen Entwicklung erleichtert.
Exchangegis unterstützt die Datenübertragung zwischen strukturierten und unstrukturierten heterogenen Datenquellen. Auf der Anwendungsebene verfügt es über Geschäftsfunktionen wie Datenberechtigungskontrolle, Knotendienst-Hochverfügbarkeit und mandantenfähige Ressourcenisolierung Architekturmerkmale wie architektonische Diversifizierung, Modulsteckbarkeit und geringe Kopplung von Komponenten.
Die Übertragungs- und Austauschfunktionen von Exchangegis basieren auf der zugrunde liegenden aggregierten Übertragungs-Engine. Die oberste Ebene definiert ein einheitliches Parametermodell für verschiedene Datenquellen. Jede Übertragungs-Engine bildet das Parametermodell ab, konfiguriert es und wandelt es in das Eingabemodell der Engine um. Jedes Mal, wenn eine Engine aggregiert wird, wird eine Art Exchangegis-Funktion hinzugefügt, und die Funktionserweiterung eines bestimmten Engine-Typs verbessert die Funktionen von Exchangegis. Standardaggregation und Erweiterung der DataX-Transfer-Engine von Alibaba.
1. Datenquellenverwaltung
Geben Sie Ihre eigenen Datenquellen frei, indem Sie Projekte binden.
Legen Sie die externen Berechtigungen der Datenquelle fest, um den Zu- und Abfluss von Daten zu steuern.
2. Unterstützung mehrerer Getriebemotoren
Die Transport-Engine ist horizontal skalierbar;
Derzeit ist die Offline-Batch-Engine DataX vollständig aggregiert und die Big-Data-Batch-Derivat-Engine SQOOP ist teilweise aggregiert.
3. Aufgabenverwaltung und -kontrolle nahezu in Echtzeit
Erfassen Sie schnell das Übertragungsaufgabenprotokoll, die Übertragungsrate und andere Informationen und schließen Sie die Aufgabe in Echtzeit.
Begrenzen Sie Aufgaben dynamisch basierend auf den Bandbreitenbedingungen
4. Unterstützen Sie die unstrukturierte Übertragung
Das DataX-Framework wird transformiert, um einen separaten schnellen Kanal für Binärströme aufzubauen, der für reine Datensynchronisationsszenarien ohne Datenkonvertierung geeignet ist.
5. Selbstüberprüfung des Aufgabenstatus
Überwachen Sie Aufgaben mit langer Laufzeit und Aufgaben mit abnormalem Status, geben Sie belegte Ressourcen rechtzeitig frei und geben Sie Alarme aus.
