Bande de données v1.0

DataBand (aide aux données), collecte et nettoyage rapides, gestion des tâches, analyse des données de flux et par lots en temps réel, visualisation des données, développement rapide de modèles de données, ensemble d'outils ETL, science des données, etc. Il s’agit d’une plate-forme Big Data légère et unique. Nous nous engageons à fournir des solutions optimales en fournissant des applications intelligentes, des analyses de données et des services de conseil.

pile technologique

stockage

Stockage distribué : HDFS, HBase

Stockage relationnel en ligne : MySQL, Oracle

Stockage de colonnes : ClickHouse

Stockage de famille de colonnes : HBase, Cassandra

Bibliothèque de documents : ElasticSearch, MongoDB

calculer

Moteur de calcul : Presto, Hive

Traitement du flux : Storm, Flink

intégré

Buse

Battement de fichier

Cache-journaux

Pile technologique frontale

Vue

Interface utilisateur de l'élément

Pile technologique back-end

Botte de printemps

Nuage de printemps

MonBatis

Description du projet

Le Big Data simule des sources de données pour générer des données (ingénierie de préparation des données)

source de données

databand-mock-api : outil de simulation d'interface, simule l'API du système d'entreprise ;

databand-mock-log : outil de simulation de journaux, génère manuellement une grande quantité de données de journaux pour le débogage et les tests, telles que Syslog, journal, génération CSV, Json, injection MySQL, écriture RPC, NetCat, etc. ;

databand-mock-mq : outil de simulation de journaux, qui génère une grande quantité de données de journal pour le débogage et les tests via l'écriture MQ, comme l'écriture RaadfdsitMQ, l'écriture Kafka, etc. ;

databand-mock-hadoop : outil de simulation de logs Big Data, lié à hdfs et mapreduce ;

Collecte et nettoyage des données (projet de nettoyage des collections)

databand-etl-mysql_ods : collectez et nettoyez les données MySQL telles que MySQL vers la bibliothèque intermédiaire temporaire ods (y compris Redis, Kafka, etc.) ;

databand-etl-mysql_olap : collecte et nettoie les données MySQL dans l'entrepôt de données OLAP ;

databand-etl-mysql_hadoop : collecte et nettoie les données MySQL sur le stockage distribué Hadoop ;

databand-etl-logfile_ods : collectez et nettoyez les fichiers journaux semi-structurés, tels que json, xml, log, données de fichiers csv, dans la bibliothèque intermédiaire temporaire ods ;

databand-etl-logfile_olap : collecte et nettoie les données des fichiers journaux semi-structurés dans l'entrepôt de données OLAP ;

databand-etl-logfile_hadoop : collecte et nettoie les données du fichier journal vers le stockage distribué Hadoop ;

databand-etl-mq_ods : collectez des données via la consommation MQ et saisissez-les dans la base de données ods ;

databand-etl-mq_olap : collectez des données via la consommation MQ et saisissez-les dans la bibliothèque OLAP ;

databand-etl-mq_hadoop : collectez des données via la consommation MQ et entrez dans Hadoop ;- databand-ml : ingénierie de la science des données ;

Tâche d'analyse de données (projet de planification de tâches planifiées)

databand-job-springboot : service de planification de tâches planifiées, prend en charge les tâches Shell, Hive, Python, Spark-SQL et Java Jar.

databand-streamjob-springboot : travail de streaming de données, prend en charge la consommation de données Kafka vers Clickhouse, MySQL, es, etc.

Portail d'analyse de données (projet de gestion back-end et d'affichage front-end)

databand-admin-ui : projet d'interface utilisateur front-end pur avec séparation front-end et back-end, affichage des données (actuellement non développé) ;

databand-admin-thymeleaf : autorisations back-end, relations, gestion de la configuration du site (front-end et back-end ne sont pas séparés, en cours de développement), basé sur le framework Ruoyi ;

databand-admin-api : service API de données ;

databand-admin-tools : ensemble d'outils BI ;

Données diffusées en direct

databand-rt-flinkstreaming : traitement du flux de données en temps réel. Principalement PV et UV, impliquant des usages de base tels que fenêtre, agrégation, délai, filigrane, statistiques, point de contrôle, etc. ;

databand-rt-redis : du stockage en cache pour le traitement en temps réel ;

databand-rt-sparkstreaming : déclenche le traitement du flux de données en temps réel, similaire à la fonction de flink, principalement un streaming structuré ;