Ketel Cerdas v1.0

Smart Kettle - Platform pemantauan layanan penjadwalan data besar Kettle berdasarkan Springboot

Editor kode bawah

Smart Kettle adalah platform pemantauan layanan penjadwalan data besar Kettle berdasarkan arsitektur back-end layanan mikro Springboot yang saat ini populer di Internet dan menggunakan Vue front-end yang kaya, iView, dan teknologi komponen lainnya. Ini dirancang untuk mengatasi masalah karena tidak dapat mengonfigurasi, menjadwalkan, dan memantau Kettle melalui Web dalam skenario bisnis ekstraksi data perusahaan.

Keunggulan Ketel Cerdas

Smart Kettle telah mengemas dan mengoptimalkan penggunaan Kettle untuk masalah umum dalam bisnis pemrosesan data perusahaan, sehingga Kettle juga dapat memiliki pekerjaan dasar Kettle dan konfigurasi konversi, penjadwalan, dan fungsi pemantauan di sisi Web. Hal ini sebagian besar dapat membantu perusahaan dalam menyelesaikan kemampuan ETL (ekstraksi, transformasi, dan pemrosesan) data dalam berbagai skenario bisnis.

Catatan: Sistem ini bukan merupakan rekayasa ulang kode sumber Kettle, namun menggunakan API Kettle untuk mencapai transformasi fungsi sisi Web Kettle yang menakjubkan.

Fitur

1. Platform penjadwalan dan pemantauan sisi web Kettle yang ringan

Mendukung pengaturan templat khusus untuk pekerjaan dan transisi.

Mendukung penyalinan template multitugas untuk pekerjaan dan transformasi.

Mendukung sinkronisasi konfigurasi pekerjaan sisi GUI dan konversi ke sisi Web.

Mendukung konfigurasi jalur khusus log untuk pekerjaan dan konversi.

Mendukung manajemen pengunduhan file log untuk pekerjaan dan konversi.

Mendukung konfigurasi perpustakaan sumber daya perpustakaan file.

Mendukung konfigurasi perpustakaan sumber daya database.

Mendukung konfigurasi perpustakaan sumber daya jarak jauh SFTP/FTP/FTPS.

Mendukung tampilan pohon direktori perpustakaan sumber daya.

Mendukung penjadwalan cluster pekerjaan dan transformasi (panggilan subserver jarak jauh).

Mendukung konfigurasi penjadwalan pekerjaan dan transformasi.

Mendukung pemantauan dan pengelolaan pekerjaan dan konversi.

Mendukung pelaksanaan pekerjaan dan transformasi lokal.

Mendukung pelaksanaan pekerjaan dan transformasi jarak jauh.

Mendukung konfigurasi tugas dan konversi terjadwal.

Mendukung pemantauan pekerjaan dan konversi secara real-time.

Mendukung manajemen perpustakaan sumber daya web Kettle.

Mendukung pengaturan kumpulan thread khusus dan pemrosesan tugas paralel.

Mendukung pemantauan alarm dan manajemen log tugas Kettle.

Menyediakan pengaturan khusus yang kaya untuk perpustakaan bisnis dan perpustakaan kamus.

Menyediakan pemantauan pengiriman yang lengkap dan real-time.

Menyediakan pengguna sistem, peran, dan manajemen izin.

Menyediakan kemampuan pemantauan waktu nyata untuk skrip kueri basis data Druid.

Mendukung Kettle 7.0.1+ dan yang lebih baru, versi saat ini adalah 9.2.0.0-179 (catatan: plugin encoder-kata sandi ketel perlu dikonfigurasi, sistem ini telah terintegrasi, tidak diperlukan konfigurasi lebih lanjut).

2. Desain pemisahan front-end dan back-end

Arsitektur backend diimplementasikan berdasarkan Springboot.

Server dapat menerbitkan layanan REST.

Arsitektur front-end didasarkan pada VUE, dan komponen datanya lebih kaya dan lebih mudah dipelihara.

Klien memperoleh data server melalui AJAX dan merender antarmuka.

3. Implementasi berbasis teknologi microservice

Arsitektur back-end menggunakan kerangka x-common-base yang dibuat sendiri.

Backend merangkum x-kettle-core, plug-in antarmuka canggih berdasarkan Kettle.

Kerangka backend diimplementasikan berdasarkan Springboot + Mybatis.

Kerangka kerja back-end mudah untuk dimigrasikan, dikembangkan dan dipelihara sekunder.

4. Implementasi front-end berdasarkan kerangka VUE progresif

Komponen fungsional mudah dikembangkan dan dipelihara.

Sangat mudah bagi pemula untuk memulai dan memulai dalam waktu singkat.

Antarmukanya lebih indah dan komponennya lebih kaya.

Persyaratan lingkungan

Maven3+

JDK1.8+

MySQL5.7+

Meringkaskan

Smart Kettle menyediakan platform pemantauan layanan penjadwalan data besar Kettle yang nyaman dan efisien untuk membantu perusahaan mengelola dan memantau proses pemrosesan data dengan lebih efisien. Desain pemisahan front-end dan back-end, berdasarkan penerapan layanan mikro dan kerangka kerja VUE, memberikan solusi yang fleksibel dan terukur bagi perusahaan.