Exchangegis 경량 데이터 교환 플랫폼 v1.1.3

Exchangegis는 WeBank의 오픈 소스 경량 데이터 교환 플랫폼으로, 다양한 저장 매체의 데이터를 신속하게 전송하고 데이터 교환 프로세스에서 직면하는 복잡성 및 호환성과 같은 문제를 해결하는 데 사용됩니다. 마이크로서비스 아키텍처 형태를 채택하고 상위 서비스와 하위 서비스가 느슨하게 결합되어 개인화되고 확장성이 뛰어난 반복 개발이 용이하도록 설계되었습니다.

Exchangegis는 정형 및 비정형 이기종 데이터 소스 간의 데이터 전송을 지원합니다. 애플리케이션 계층에서는 데이터 권한 제어, 노드 서비스 고가용성, 다중 테넌트 리소스 격리 등의 비즈니스 기능을 갖습니다. 아키텍처의 다양화, 모듈 플러그인, 낮은 컴포넌트 결합 등의 아키텍처적 특징을 제공합니다.

Exchangegis의 전송 및 교환 기능은 기본 집계 전송 엔진에 의존합니다. 각 전송 엔진은 매개변수 모델을 매핑 및 구성하고 이를 엔진의 입력 모델로 변환합니다. 엔진이 집계될 때마다 Exchangegis 기능 유형이 추가되며, 특정 유형의 엔진 기능 향상으로 Exchangegis 기능이 향상됩니다. Alibaba DataX 전송 엔진의 기본 집계 및 향상입니다.

교환 기능

1. 데이터 소스 관리

프로젝트를 바인딩하여 자신의 데이터 소스를 공유하세요.

데이터 소스의 외부 권한을 설정하여 데이터 유입 및 유출을 제어합니다.

2. 다중 전송 엔진 지원

전송 엔진은 수평적으로 확장 가능합니다.

현재 오프라인 배치 엔진인 DataX는 완전히 통합되었으며, 빅데이터 배치 파생 엔진인 SQOOP는 부분적으로 통합되었습니다.

3. 실시간에 가까운 작업 관리 및 제어

전송 작업 로그, 전송 속도 및 기타 정보를 신속하게 캡처하고 실시간으로 작업을 종료합니다.

대역폭 조건에 따라 작업을 동적으로 제한

4. 비정형 전송 지원

DataX 프레임워크는 바이너리 스트림을 위한 별도의 빠른 채널을 구축하도록 변환되었으며, 이는 데이터 변환이 없는 순수 데이터 동기화 시나리오에 적합합니다.

5. 작업 상태 자체 점검

장시간 실행되는 작업과 상태가 비정상인 작업을 모니터링하고, 점유된 리소스를 적시에 해제하고, 알람을 발생시킵니다.