Platform pertukaran data ringan Exchangegi v1.1.3

Exchangegis adalah platform pertukaran data ringan sumber terbuka WeBank, yang digunakan untuk mentransfer data dengan cepat di berbagai media penyimpanan dan memecahkan masalah seperti kompleksitas dan kompatibilitas yang dihadapi dalam proses pertukaran data. Desainnya mengadopsi bentuk arsitektur layanan mikro, dan layanan atas dan bawah digabungkan secara longgar, sehingga memudahkan pengembangan berulang yang dipersonalisasi dan sangat skalabel.

Exchangegis mendukung transmisi data antara sumber data heterogen terstruktur dan tidak terstruktur. Pada lapisan aplikasi, ia memiliki fitur bisnis seperti kontrol izin data, ketersediaan tinggi layanan node, dan isolasi sumber daya multi-penyewa fitur arsitektur seperti diversifikasi arsitektur, plug-in modul, dan komponen yang digabungkan rendah.

Kemampuan transmisi dan pertukaran Exchangegis bergantung pada mesin transmisi agregat yang mendasarinya. Lapisan atasnya menentukan model parameter terpadu untuk berbagai sumber data. Setiap mesin transmisi memetakan dan mengonfigurasi model parameter dan mengubahnya menjadi model masukan mesin. Setiap kali mesin digabungkan, jenis fitur Exchangegis akan ditambahkan, dan peningkatan fitur pada jenis mesin tertentu akan meningkatkan fitur Exchangegis. Agregasi default dan peningkatan mesin transfer DataX Alibaba.

Fitur Pertukaran

1. Manajemen sumber data

Bagikan sumber data Anda sendiri dengan mengikat proyek;

Tetapkan izin eksternal sumber data untuk mengontrol aliran data masuk dan keluar.

2. Dukungan mesin bertransmisi ganda

Mesin transportasi dapat diskalakan secara horizontal;

Saat ini, mesin batch offline DataX sepenuhnya diagregasi, dan mesin turunan batch big data SQOOP diagregasi sebagian.

3. Manajemen dan kontrol tugas hampir real-time

Tangkap log tugas transmisi dan laju transmisi serta informasi lainnya dengan cepat, dan tutup tugas secara real-time;

Batasi tugas secara dinamis berdasarkan kondisi bandwidth

4. Mendukung transmisi tidak terstruktur

Kerangka kerja DataX diubah untuk membangun saluran cepat terpisah untuk aliran biner, yang cocok untuk skenario sinkronisasi data murni tanpa konversi data.

5. Periksa sendiri status tugas

Pantau tugas yang berjalan lama dan tugas dengan status abnormal, lepaskan sumber daya yang digunakan tepat waktu, dan keluarkan alarm.