DataBand v1.0

DataBand (Datenhilfe), schnelle Erfassung und Bereinigung, Aufgabenverwaltung, Echtzeit-Stream- und Batch-Datenanalyse, Datenvisualisierung, schnelle Entwicklung von Datenvorlagen, ETL-Toolset, Datenwissenschaft usw. Es handelt sich um eine leichtgewichtige One-Stop-Big-Data-Plattform. Wir sind bestrebt, optimale Lösungen durch die Bereitstellung intelligenter Anwendungen, Datenanalysen und Beratungsdienste bereitzustellen.

Technologie-Stack

Lagerung

Verteilter Speicher: HDFS, HBase

Zeilenrelationaler Speicher: MySQL, Oracle

Säulenspeicher: ClickHouse

Speicher der Spaltenfamilie: HBase, Cassandra

Dokumentbibliothek: ElasticSearch, MongoDB

berechnen

Rechenmaschine: Presto, Hive

Stream-Verarbeitung: Storm, Flink

integriert

Flume

Filebeat

Logstash

Front-End-Technologie-Stack

Vue

Element-Benutzeroberfläche

Backend-Technologie-Stack

Frühlingsstiefel

Frühlingswolke

MyBatis

Projektbeschreibung

Big Data simuliert Datenquellen, um Daten zu generieren (Data Preparation Engineering)

Datenquelle

databand-mock-api: Schnittstellensimulationstool, simuliert die Geschäftssystem-API;

databand-mock-log: Protokollsimulationstool, das manuell eine große Menge an Protokolldaten zum Debuggen und Testen generiert, z. B. Syslog, Protokoll, CSV-Generierung, Json, MySQL-Injection, RPC-Schreiben, NetCat usw.;

databand-mock-mq: Protokollsimulationstool, das eine große Menge an Protokolldaten zum Debuggen und Testen durch MQ-Schreiben generiert, z. B. RaadfdsitMQ-Schreiben, Kafka-Schreiben usw.;

databand-mock-hadoop: Big-Data-Log-Simulationstool, bezogen auf HDFS und Mapreduce;

Datenerfassung und -bereinigung (Sammlungsbereinigungsprojekt)

databand-etl-mysql_ods: Sammeln und bereinigen Sie MySQL-Daten wie MySQL in ods temporäre Zwischenbibliotheken (einschließlich Redis, Kafka usw.);

databand-etl-mysql_olap: MySQL-Daten sammeln und im OLAP-Data-Warehouse bereinigen;

databand-etl-mysql_hadoop: Sammeln und Bereinigen von MySQL-Daten im verteilten Hadoop-Speicher;

databand-etl-logfile_ods: Sammeln und bereinigen Sie halbstrukturierte Protokolldateien wie JSON-, XML-, Protokoll- und CSV-Dateidaten in der temporären Zwischenbibliothek ods.

databand-etl-logfile_olap: halbstrukturierte Protokolldateidaten sammeln und im OLAP-Data-Warehouse bereinigen;

databand-etl-logfile_hadoop: Protokolldateidaten sammeln und im verteilten Hadoop-Speicher bereinigen;

databand-etl-mq_ods: Daten durch MQ-Verbrauch sammeln und in die ods-Datenbank eingeben;

databand-etl-mq_olap: Sammeln Sie Daten durch MQ-Verbrauch und geben Sie sie in die OLAP-Bibliothek ein.

databand-etl-mq_hadoop: Sammeln Sie Daten durch MQ-Verbrauch und geben Sie Hadoop ein;- databand-ml: Data Science Engineering;

Datenanalysejob (geplantes Jobplanungsprojekt)

databand-job-springboot: Jobplanungsdienst für geplante Aufgaben, unterstützt Shell-, Hive-, Python-, Spark-SQL- und Java-Jar-Aufgaben.

databand-streamjob-springboot: Streaming-Datenjob, unterstützt den Kafka-Datenverbrauch für Clickhouse, MySQL, ES usw.

Datenanalyseportal (Back-End-Management und Front-End-Anzeigeprojekt)

databand-admin-ui: Reines Front-End-UI-Projekt mit Front-End- und Back-End-Trennung, Datenanzeige (derzeit nicht entwickelt);

databand-admin-thymeleaf: Back-End-Berechtigungen, Beziehungen, Site-Konfigurationsverwaltung (Front-End und Back-End sind nicht getrennt, in Entwicklung), basierend auf dem Ruoyi-Framework;

databand-admin-api: Daten-API-Dienst;

databand-admin-tools: BI-Toolset;

Live-Streaming-Daten

databand-rt-flinkstreaming: Flink-Echtzeit-Datenstromverarbeitung. Hauptsächlich PV und UV, einschließlich grundlegender Verwendung wie Fenster, Aggregation, Verzögerung, Wasserzeichen, Statistik, Prüfpunkt usw.;

databand-rt-redis: etwas Cache-Speicher für Echtzeitverarbeitung;

databand-rt-sparkstreaming: Spark-Echtzeit-Datenstromverarbeitung, ähnlich der Funktion von Flink, hauptsächlich strukturiertes Streaming;