ดาต้าแบนด์ v1.0

DataBand (ความช่วยเหลือด้านข้อมูล), การรวบรวมและทำความสะอาดอย่างรวดเร็ว, การจัดการงาน, การวิเคราะห์ข้อมูลสตรีมแบบเรียลไทม์และแบบกลุ่ม, การสร้างภาพข้อมูล, การพัฒนาเทมเพลตข้อมูลอย่างรวดเร็ว, ชุดเครื่องมือ ETL, วิทยาศาสตร์ข้อมูล ฯลฯ เป็นแพลตฟอร์มข้อมูลขนาดใหญ่ครบวงจรที่มีน้ำหนักเบา เรามุ่งมั่นที่จะมอบโซลูชั่นที่เหมาะสมที่สุดโดยการจัดหาแอพพลิเคชั่นอัจฉริยะ การวิเคราะห์ข้อมูล และบริการให้คำปรึกษา

กองเทคโนโลยี

พื้นที่จัดเก็บ

พื้นที่เก็บข้อมูลแบบกระจาย: HDFS, HBase

ที่เก็บข้อมูลเชิงสัมพันธ์แถว: MySQL, Oracle

ที่เก็บข้อมูลคอลัมน์: ClickHouse

ที่เก็บข้อมูลตระกูลคอลัมน์: HBase, Cassandra

ไลบรารีเอกสาร: ElasticSearch, MongoDB

คำนวณ

เครื่องคอมพิวเตอร์: Presto, Hive

การประมวลผลสตรีม: Storm, Flink

บูรณาการ

ฟลูม

ไฟล์บีท

ล็อกสแตช

กองเทคโนโลยีส่วนหน้า

วิว

UI องค์ประกอบ

กองเทคโนโลยีแบ็กเอนด์

บูทสปริง

สปริงคลาวด์

มายบาติส

รายละเอียดโครงการ

Big Data จำลองแหล่งข้อมูลเพื่อสร้างข้อมูล (วิศวกรรมการเตรียมข้อมูล)

แหล่งข้อมูล

databand-mock-api: เครื่องมือจำลองอินเทอร์เฟซ จำลอง API ระบบธุรกิจ

databand-mock-log: เครื่องมือจำลองบันทึก สร้างข้อมูลบันทึกจำนวนมากด้วยตนเองสำหรับการดีบักและการทดสอบ เช่น Syslog, บันทึก, การสร้าง CSV, Json, การแทรก MySQL, การเขียน RPC, NetCat ฯลฯ

databand-mock-mq: เครื่องมือจำลองบันทึก ซึ่งสร้างข้อมูลบันทึกจำนวนมากสำหรับการดีบักและทดสอบผ่านการเขียน MQ เช่น การเขียน RaadfdsitMQ การเขียน Kafka ฯลฯ

databand-mock-hadoop: เครื่องมือจำลองบันทึกข้อมูลขนาดใหญ่ที่เกี่ยวข้องกับ hdfs และ mapreduce

การรวบรวมและทำความสะอาดข้อมูล (โครงการทำความสะอาดคอลเลกชัน)

databand-etl-mysql_ods: รวบรวมและล้างข้อมูล mysql เช่น MySQL ไปยัง ods ไลบรารีระดับกลางชั่วคราว (รวมถึง Redis, Kafka ฯลฯ );

databand-etl-mysql_olap: รวบรวมและล้างข้อมูล mysql ไปยังคลังข้อมูล OLAP

databand-etl-mysql_hadoop: รวบรวมและล้างข้อมูล mysql ไปยังพื้นที่เก็บข้อมูลแบบกระจายของ Hadoop

databand-etl-logfile_ods: รวบรวมและล้างไฟล์บันทึกแบบกึ่งโครงสร้าง เช่น json, xml, log, ข้อมูลไฟล์ csv ไปยังไลบรารีระดับกลางชั่วคราว ods

databand-etl-logfile_olap: รวบรวมและล้างข้อมูลไฟล์บันทึกแบบกึ่งโครงสร้างลงในคลังข้อมูล OLAP

databand-etl-logfile_hadoop: รวบรวมและล้างข้อมูลไฟล์บันทึกไปยังพื้นที่จัดเก็บแบบกระจายของ Hadoop

databand-etl-mq_ods: รวบรวมข้อมูลผ่านการใช้ MQ และป้อนลงในฐานข้อมูล ods

databand-etl-mq_olap: รวบรวมข้อมูลผ่านการใช้ MQ และป้อนลงในไลบรารี OLAP

databand-etl-mq_hadoop: รวบรวมข้อมูลผ่านการใช้ MQ และป้อน Hadoop;- databand-ml: วิศวกรรมวิทยาศาสตร์ข้อมูล;

งานวิเคราะห์ข้อมูล (โครงการจัดกำหนดการงาน)

databand-job-springboot: บริการกำหนดเวลางานตามกำหนดเวลา, รองรับงานเชลล์, ไฮฟ์, หลาม, Spark-SQL, งาน Java Jar

databand-streamjob-springboot: การสตรีมงานข้อมูล รองรับการใช้ข้อมูล kafka ไปยัง clickhouse, mysql, es ฯลฯ

พอร์ทัลการวิเคราะห์ข้อมูล (การจัดการแบ็คเอนด์และโปรเจ็กต์การแสดงผลส่วนหน้า)

databand-admin-ui: โปรเจ็กต์ UI ส่วนหน้าล้วนๆ พร้อมการแยกส่วนหน้าและส่วนหลัง การแสดงข้อมูล (ปัจจุบันยังไม่ได้รับการพัฒนา);

databand-admin-thymeleaf: การอนุญาตส่วนหลัง, ความสัมพันธ์, การจัดการการกำหนดค่าไซต์ (ส่วนหน้าและส่วนหลังไม่ได้แยกออกจากกัน อยู่ระหว่างการพัฒนา) ตามกรอบงาน Ruoyi

databand-admin-api: บริการข้อมูล api;

databand-admin-tools: ชุดเครื่องมือ BI;

ข้อมูลการสตรีมสด

databand-rt-flinkstreaming: การประมวลผลสตรีมข้อมูลแบบเรียลไทม์แบบกะพริบ ส่วนใหญ่เป็น PV และ UV ซึ่งเกี่ยวข้องกับการใช้งานพื้นฐาน เช่น หน้าต่าง การรวมตัว ความล่าช้า ลายน้ำ สถิติ จุดตรวจสอบ ฯลฯ

databand-rt-redis: พื้นที่เก็บข้อมูลแคชบางส่วนสำหรับการประมวลผลแบบเรียลไทม์

databand-rt-sparkstreaming: จุดประกายการประมวลผลสตรีมข้อมูลแบบเรียลไทม์ คล้ายกับฟังก์ชันของ flink ซึ่งส่วนใหญ่เป็นสตรีมมิ่งแบบมีโครงสร้าง