DataSphere Studio (disingkat DSS) adalah portal pengembangan dan manajemen aplikasi data terpadu yang dikembangkan oleh WeBank.
Portal pengembangan dan manajemen aplikasi data terpadu DataSphereStudio didasarkan pada desain kerangka kerja integrasi plug-in dan middleware komputasi Linkis, yang dapat dengan mudah mengakses berbagai sistem aplikasi data lapisan atas, menjadikan pengembangan data sederhana dan mudah digunakan.
Di bawah UI terpadu, DataSphere Studio menggunakan pengalaman pengembangan drag-and-drop grafis gaya alur kerja untuk memenuhi kebutuhan pengembangan aplikasi data mulai dari pertukaran data, desensitisasi dan pembersihan, analisis dan penambangan, pemeriksaan kualitas, tampilan visual, penjadwalan waktu hingga data aplikasi keluaran, dll. Persyaratan skenario proses penuh.
DSS mengadopsi desain kerangka integrasi yang dapat dicolokkan, memungkinkan pengguna dengan mudah dan cepat mengganti berbagai komponen fungsional yang telah diintegrasikan DSS, atau menambahkan komponen fungsional baru sesuai kebutuhan.
Dengan bantuan kemampuan koneksi, penggunaan kembali, dan penyederhanaan middleware komputasi Linkis, DSS secara inheren dilengkapi dengan kemampuan eksekusi dan penjadwalan tingkat finansial seperti konkurensi tinggi, ketersediaan tinggi, isolasi multi-penyewa serta manajemen dan kontrol sumber daya.
Fitur inti
Fitur utama DSS
1. Antarmuka manajemen pengembangan aplikasi satu atap dan proses penuh
DSS memiliki tingkat integrasi yang sangat tinggi. Saat ini, sistem yang telah terintegrasi antara lain
1. Alat IDE pengembangan data——Scriptis
2. Alat visualisasi data—Visual (berdasarkan pengembangan sekunder oleh CreditEase Davinci)
3. Alat manajemen kualitas data—Kualitas
4. Alat penjadwalan alur kerja—Azkaban
Model desain kerangka plug-in DSS memungkinkan pengguna dengan cepat mengganti berbagai sistem web yang telah terintegrasi DSS. Misal: ganti Scriptis dengan Zeppelin dan Azkaban dengan DolphinScheduler.
2. Membuat konsep desain AppJoint unik berdasarkan middleware komputasi Linkis
AppJoint adalah konsep inti DSS yang dapat dengan mudah dan cepat mengintegrasikan berbagai sistem Web lapisan atas.
AppJoint - gabungan aplikasi, mendefinisikan serangkaian spesifikasi akses front-end dan back-end terpadu, memungkinkan sistem aplikasi data eksternal mengakses dengan cepat dan mudah, menjadi bagian dari pengembangan aplikasi data DSS.
DSS menghubungkan beberapa AppJoints secara seri untuk membentuk alur kerja yang mendukung eksekusi real-time dan penjadwalan terjadwal. Pengguna dapat menyelesaikan seluruh proses pengembangan aplikasi data hanya dengan drag dan drop.
Karena AppJoint terhubung ke Linkis, sistem aplikasi data eksternal memiliki kemampuan manajemen dan kontrol sumber daya, pembatasan konkurensi, manajemen sumber daya pengguna, dll., dan memungkinkan informasi konteks untuk dibagikan ke seluruh tingkat sistem, sepenuhnya mengucapkan selamat tinggal pada pulau aplikasi.
3. Unit manajemen tingkat proyek
Dengan Project sebagai unit manajemen, Project mengatur dan mengelola aplikasi bisnis setiap sistem aplikasi data, dan menentukan serangkaian standar umum untuk pengembangan proyek kolaboratif di seluruh sistem aplikasi data.
4. Komponen aplikasi data terintegrasi
Dengan mengimplementasikan beberapa AppJoints, DSS telah mengintegrasikan berbagai sistem aplikasi data lapisan atas, yang pada dasarnya dapat memenuhi kebutuhan pengembangan data pengguna.
Jika diperlukan, pengguna dapat dengan mudah mengintegrasikan sistem aplikasi data baru untuk menggantikan atau memperkaya proses pengembangan aplikasi data DSS.
1. Kemampuan penjadwalan DSS—Azkaban AppJoint
Banyak aplikasi data pengguna biasanya ingin memiliki kemampuan penjadwalan berkala.
Sistem penjadwalan open source yang ada saat ini di pasaran memiliki integrasi yang rendah dengan sistem aplikasi data lapisan atas lainnya dan sulit untuk diintegrasikan.
Dengan mengimplementasikan Azkaban AppJoint, DSS memungkinkan pengguna untuk mempublikasikan alur kerja yang diatur ke Azkaban untuk penjadwalan terjadwal dengan satu klik.
DSS juga mendefinisikan serangkaian spesifikasi penguraian dan penerbitan alur kerja DSS standar dan universal untuk sistem penjadwalan, sehingga sistem penjadwalan lain dapat dengan mudah terhubung dengan DSS dengan biaya rendah.
2. Pengembangan data - Scriptis AppJoint
Apa itu Scriptis?
Scriptis adalah alat web analisis data yang mendukung penulisan online SQL, Pyspark, HiveQL dan skrip lainnya dan mengirimkannya ke Linkis untuk dieksekusi. Ini juga mendukung fitur tingkat perusahaan seperti UDF, fungsi, manajemen dan kontrol sumber daya, dan diagnosis cerdas.
Scriptis AppJoint mengintegrasikan kemampuan pengembangan data Scriptis ke dalam DSS dan memungkinkan berbagai jenis skrip Scriptis untuk berpartisipasi dalam proses pengembangan aplikasi sebagai simpul alur kerja DSS.
Saat ini, jenis node skrip seperti HiveSQL, SparkSQL, Pyspark, dan Scala didukung.
3. Visualisasi data - Visualis AppJoint
Apa itu Visualis?
Visualis adalah alat visualisasi data BI yang dikembangkan berdasarkan proyek sumber terbuka CreditEase Davinci. Alat ini memberi pengguna kemampuan visualisasi data tingkat keuangan dalam hal keamanan dan izin data.
Visualis AppJoint mengintegrasikan kemampuan visualisasi data Visualis untuk DSS dan memungkinkan layar data dan dasbor digunakan sebagai node dalam alur kerja DSS dan dikaitkan dengan data mart hulu.
4. Kualitas data—Qualitis AppJoint
Qualitis AppJoint mengintegrasikan kemampuan verifikasi kualitas data untuk DSS, mengintegrasikan sistem kualitas data ke dalam pengembangan alur kerja DSS, dan memverifikasi integritas dan kebenaran data.
5. Pengiriman data - Pengirim AppJoint
Sender AppJoint mengintegrasikan kemampuan pengiriman data untuk DSS dan saat ini mendukung jenis node SendEmail. Kumpulan hasil dari semua node lainnya dapat dikirim melalui email.
Misalnya: node SendEmail dapat langsung mengirim data tampilan besar sebagai email.
6. Node sinyal—Signal AppJoint
EventChecker AppJoint digunakan untuk memperkuat pemisahan dan interkoneksi antara bisnis dan proses.
Node DataChecker: Periksa apakah partisi tabel perpustakaan ada.
EventSender: Node pengirim pesan di seluruh alur kerja dan proyek.
EventReceiver: Node penerima pesan di seluruh alur kerja dan proyek.
7. Simpul fungsi
Node kosong, node alur kerja anak.
8. Perluasan simpul
Sesuai kebutuhan, pengguna dapat dengan mudah dan cepat mengganti berbagai komponen fungsional yang telah diintegrasikan oleh DSS, atau menambahkan komponen fungsional baru.
Skenario penggunaan
DataSphere Studio cocok untuk skenario berikut
1. Skenario ketika platform data besar sedang dibangun atau memiliki kemampuan awal, namun tidak tersedia alat aplikasi data.
2. Skenario dimana kemampuan platform dasar big data sudah tersedia dan alat aplikasi data hanya sedikit.
3. Sudah memiliki kemampuan platform dasar data besar dan memiliki semua alat aplikasi data, namun alat tersebut belum terhubung, dan pengguna merasa terisolasi dan biaya pembelajaran yang tinggi.
4. Sudah memiliki kemampuan platform dasar big data dan memiliki semua alat aplikasi data. Beberapa alat telah terhubung, namun skenario terpadu dan terstandarisasi belum ditentukan.
Memperluas
Direkomendasikan untuk Anda
