Banda de datos v1.0

DataBand (ayuda de datos), recopilación y limpieza rápidas, gestión de tareas, análisis de datos por lotes y flujos en tiempo real, visualización de datos, desarrollo rápido de plantillas de datos, conjunto de herramientas ETL, ciencia de datos, etc. Es una plataforma de big data liviana e integral. Estamos comprometidos a brindar soluciones óptimas brindando aplicaciones inteligentes, análisis de datos y servicios de consultoría.

pila de tecnología

almacenamiento

Almacenamiento distribuido: HDFS, HBase

Almacenamiento relacional de filas: MySQL, Oracle

Almacenamiento de columnas: ClickHouse

Almacenamiento de la familia de columnas: HBase, Cassandra

Biblioteca de documentos: ElasticSearch, MongoDB

calcular

Motor informático: Presto, Hive

Procesamiento de flujo: Storm, Flink

integrado

Canal artificial

archivo

Logstash

Pila de tecnología front-end

vista

Interfaz de usuario del elemento

Pila de tecnología backend

Bota de primavera

Nube de primavera

MiBatis

Descripción del proyecto

Big data simula fuentes de datos para generar datos (ingeniería de preparación de datos)

fuente de datos

databand-mock-api: herramienta de simulación de interfaz, simula la API del sistema empresarial;

databand-mock-log: herramienta de simulación de registros, genera manualmente una gran cantidad de datos de registro para depuración y prueba, como Syslog, registro, generación CSV, Json, inyección MySQL, escritura RPC, NetCat, etc .;

databand-mock-mq: herramienta de simulación de registros, que genera una gran cantidad de datos de registro para depurar y probar mediante escritura MQ, como escritura RaadfdsitMQ, escritura Kafka, etc.;

databand-mock-hadoop: herramienta de simulación de registros de big data, relacionada con hdfs y mapreduce;

Recopilación y limpieza de datos (proyecto de limpieza de colección)

databand-etl-mysql_ods: recopila y limpia datos de MySQL, como MySQL, en la biblioteca intermedia temporal de ods (incluidos Redis, Kafka, etc.);

databand-etl-mysql_olap: recopila y limpia datos de mysql en el almacén de datos OLAP;

databand-etl-mysql_hadoop: recopila y limpia datos de MySQL en el almacenamiento distribuido de Hadoop;

databand-etl-logfile_ods: recopila y limpia archivos de registro semiestructurados, como datos de archivos json, xml, log y csv, en la biblioteca intermedia temporal de ods;

databand-etl-logfile_olap: recopila y limpia datos de archivos de registro semiestructurados en el almacén de datos OLAP;

databand-etl-logfile_hadoop: recopila y limpia los datos del archivo de registro en el almacenamiento distribuido de Hadoop;

databand-etl-mq_ods: recopila datos a través del consumo de MQ e ingresalos en la base de datos de ods;

databand-etl-mq_olap: recopila datos a través del consumo de MQ e ingréselo en la biblioteca OLAP;

databand-etl-mq_hadoop: recopila datos a través del consumo de MQ e ingresa a Hadoop; - databand-ml: ingeniería de ciencia de datos;

Trabajo de análisis de datos (proyecto de programación de trabajos programados)

databand-job-springboot: servicio de programación de tareas programadas, admite tareas de shell, hive, python, spark-sql y java jar.

databand-streamjob-springboot: trabajo de transmisión de datos, admite el consumo de datos de Kafka para clickhouse, mysql, es, etc.

Portal de análisis de datos (proyecto de gestión de back-end y visualización de front-end)

databand-admin-ui: proyecto de interfaz de usuario puramente front-end con separación de front-end y back-end, visualización de datos (actualmente no desarrollado);

databand-admin-thymeleaf: permisos de back-end, relaciones, gestión de configuración del sitio (el front-end y el back-end no están separados, en desarrollo), basado en el marco de Ruoyi;

databand-admin-api: servicio de API de datos;

herramientas-admin-databand: conjunto de herramientas de BI;

Datos de transmisión en vivo

databand-rt-flinkstreaming: procesamiento de flujo de datos en tiempo real de flink. Principalmente PV y UV, que implican usos básicos como ventanas, agregaciones, retrasos, marcas de agua, estadísticas, puntos de control, etc.;

databand-rt-redis: algo de almacenamiento en caché para procesamiento en tiempo real;

databand-rt-sparkstreaming: genera procesamiento de flujo de datos en tiempo real, similar a la función de flink, principalmente transmisión estructurada;