DataBand v1.0

DataBand (bantuan data), pengumpulan dan pembersihan cepat, manajemen tugas, aliran waktu nyata dan analisis data batch, visualisasi data, pengembangan templat data cepat, kumpulan alat ETL, ilmu data, dll. Ini adalah platform data besar terpadu yang ringan. Kami berkomitmen untuk memberikan solusi optimal dengan menyediakan aplikasi cerdas, analisis data, dan layanan konsultasi.

tumpukan teknologi

penyimpanan

Penyimpanan terdistribusi: HDFS, HBase

Penyimpanan relasional baris: MySQL, Oracle

Penyimpanan kolom: ClickHouse

Penyimpanan keluarga kolom: HBase, Cassandra

Pustaka dokumen: ElasticSearch, MongoDB

menghitung

Mesin komputasi: Presto, Hive

Pemrosesan aliran: Storm, Flink

terintegrasi

Saluran

Filebeat

simpanan log

Tumpukan teknologi front-end

Lihat

Elemen UI

Tumpukan teknologi backend

sepatu bot musim semi

Awan Musim Semi

Batis Saya

Deskripsi Proyek

Big data mensimulasikan sumber data untuk menghasilkan data (rekayasa persiapan data)

sumber data

databand-mock-api: alat simulasi antarmuka, mensimulasikan API sistem bisnis;

databand-mock-log: Alat simulasi log, secara manual menghasilkan sejumlah besar data log untuk debugging dan pengujian, seperti Syslog, log, pembuatan CSV, Json, injeksi MySQL, penulisan RPC, NetCat, dll.;

databand-mock-mq: Alat simulasi log, yang menghasilkan sejumlah besar data log untuk debugging dan pengujian melalui penulisan MQ, seperti penulisan RaadfdsitMQ, penulisan Kafka, dll.;

databand-mock-hadoop: alat simulasi log data besar, terkait dengan hdfs dan mapreduce;

Pengumpulan dan pembersihan data (proyek pembersihan koleksi)

databand-etl-mysql_ods: Mengumpulkan dan membersihkan data mysql seperti MySQL ke perpustakaan perantara sementara (termasuk Redis, Kafka, dll.);

databand-etl-mysql_olap: mengumpulkan dan membersihkan data mysql ke gudang data OLAP;

databand-etl-mysql_hadoop: mengumpulkan dan membersihkan data mysql ke penyimpanan terdistribusi Hadoop;

databand-etl-logfile_ods: Mengumpulkan dan membersihkan file log semi-terstruktur, seperti json, xml, log, data file csv, ke perpustakaan perantara sementara ods;

databand-etl-logfile_olap: mengumpulkan dan membersihkan data file log semi-terstruktur ke dalam gudang data OLAP;

databand-etl-logfile_hadoop: Mengumpulkan dan membersihkan data file log ke penyimpanan terdistribusi Hadoop;

databand-etl-mq_ods: mengumpulkan data melalui konsumsi MQ dan memasukkannya ke dalam database ods;

databand-etl-mq_olap: mengumpulkan data melalui konsumsi MQ dan memasukkannya ke perpustakaan OLAP;

databand-etl-mq_hadoop: Kumpulkan data melalui konsumsi MQ dan masukkan Hadoop;- databand-ml: Rekayasa ilmu data;

Pekerjaan analisis data (proyek penjadwalan pekerjaan terjadwal)

databand-job-springboot: layanan penjadwalan tugas terjadwal, mendukung tugas shell, hive, python, spark-sql, java jar.

databand-streamjob-springboot: pekerjaan streaming data, mendukung konsumsi data kafka ke clickhouse, mysql, es, dll.

Portal analisis data (manajemen back-end dan proyek tampilan front-end)

databand-admin-ui: Proyek UI front-end murni dengan pemisahan front-end dan back-end, tampilan data (saat ini tidak dikembangkan);

databand-admin-thymeleaf: izin back-end, hubungan, manajemen konfigurasi situs (front-end dan back-end tidak dipisahkan, sedang dikembangkan), berdasarkan kerangka kerja Ruoyi;

databand-admin-api: layanan data api;

databand-admin-tools: perangkat BI;

Data streaming langsung

databand-rt-flinkstreaming: pemrosesan aliran data real-time flink. Terutama PV dan UV, yang melibatkan penggunaan dasar seperti jendela, agregasi, penundaan, tanda air, statistik, pos pemeriksaan, dll.;

databand-rt-redis: beberapa penyimpanan cache untuk pemrosesan waktu nyata;

databand-rt-sparkstreaming: memicu pemrosesan aliran data waktu nyata, mirip dengan fungsi flink, terutama streaming terstruktur;