Облегченная платформа обмена данными Exchangegis v1.1.3

Exchangegis — это облегченная платформа обмена данными WeBank с открытым исходным кодом, которая используется для быстрой передачи данных на различные носители данных и решения таких проблем, как сложность и совместимость, возникающих в процессе обмена данными. Проект имеет форму микросервисной архитектуры, а верхние и нижние сервисы слабо связаны между собой, что упрощает выполнение персонализированной и масштабируемой итеративной разработки.

Exchangegis поддерживает передачу данных между структурированными и неструктурированными гетерогенными источниками данных. На уровне приложений он имеет такие бизнес-функции, как управление разрешениями на данные, высокую доступность службы узла и мультитенантную изоляцию ресурсов. На уровне данных он также имеет передачу. архитектурные особенности, такие как архитектурное разнообразие, подключаемые модули и низкая степень связи компонентов.

Возможности передачи и обмена Exchangegis основаны на базовом агрегированном механизме передачи. Его верхний уровень определяет унифицированную модель параметров для различных источников данных. Каждый механизм передачи отображает и настраивает модель параметров и преобразует ее во входную модель механизма. Каждый раз при агрегировании механизма будет добавляться тип функции Exchangegis, а улучшение функций определенного типа механизма будет улучшать функции Exchangegis. Агрегация по умолчанию и усовершенствование механизма передачи данных Alibaba DataX.

Возможности обмена

1. Управление источниками данных

Делитесь своими собственными источниками данных, связывая проекты;

Установите внешние разрешения источника данных, чтобы контролировать приток и отток данных.

2. Поддержка нескольких трансмиссионных двигателей.

Транспортный механизм имеет возможность горизонтального масштабирования;

В настоящее время автономный пакетный механизм DataX полностью агрегирован, а производный пакетный механизм больших данных SQOOP агрегирован частично.

3. Управление и контроль задач практически в реальном времени.

Быстро записывайте журнал задач передачи, скорость передачи и другую информацию и закрывайте задачу в режиме реального времени;

Динамическое ограничение задач в зависимости от условий пропускной способности

4. Поддержка неструктурированной передачи

Платформа DataX трансформируется для создания отдельного быстрого канала для двоичных потоков, который подходит для сценариев чистой синхронизации данных без преобразования данных.

5. Самопроверка статуса задачи.

Отслеживайте долго выполняющиеся задачи и задачи с ненормальным статусом, своевременно освобождайте занятые ресурсы и выдавайте сигналы тревоги.