Banda de dados v1.0

DataBand (ajuda de dados), coleta e limpeza rápidas, gerenciamento de tarefas, fluxo em tempo real e análise de dados em lote, visualização de dados, desenvolvimento rápido de modelos de dados, conjunto de ferramentas ETL, ciência de dados, etc. É uma plataforma leve e completa de big data. Estamos empenhados em fornecer soluções ideais, fornecendo aplicações inteligentes, análise de dados e serviços de consultoria.

pilha de tecnologia

armazenar

Armazenamento distribuído: HDFS, HBase

Armazenamento relacional de linha: MySQL, Oracle

Armazenamento de coluna: ClickHouse

Armazenamento de família de colunas: HBase, Cassandra

Biblioteca de documentos: ElasticSearch, MongoDB

calcular

Mecanismo de computação: Presto, Hive

Processamento de fluxo: Storm, Flink

integrado

Calha

Filebeat

Logstash

Pilha de tecnologia front-end

Vista

IU do elemento

Pilha de tecnologia de back-end

Bota Primavera

Nuvem de primavera

MeuBatis

Descrição do projeto

Big data simula fontes de dados para gerar dados (engenharia de preparação de dados)

fonte de dados

databand-mock-api: ferramenta de simulação de interface, simula API de sistema de negócios;

databand-mock-log: ferramenta de simulação de log, gera manualmente uma grande quantidade de dados de log para depuração e teste, como Syslog, log, geração de CSV, Json, injeção de MySQL, gravação de RPC, NetCat, etc.;

databand-mock-mq: ferramenta de simulação de log, que gera uma grande quantidade de dados de log para depuração e teste por meio de escrita MQ, como escrita RaadfdsitMQ, escrita Kafka, etc.;

databand-mock-hadoop: ferramenta de simulação de log de big data, relacionada a hdfs e mapreduce;

Coleta e limpeza de dados (projeto de limpeza de acervo)

databand-etl-mysql_ods: Colete e limpe dados mysql, como MySQL para biblioteca intermediária temporária ods (incluindo Redis, Kafka, etc.);

databand-etl-mysql_olap: coleta e limpa dados mysql para o data warehouse OLAP;

databand-etl-mysql_hadoop: coleta e limpa dados mysql para armazenamento distribuído Hadoop;

databand-etl-logfile_ods: Colete e limpe arquivos de log semiestruturados, como json, xml, log, dados de arquivo csv, para a biblioteca intermediária temporária ods;

databand-etl-logfile_olap: coleta e limpa dados de arquivos de log semiestruturados no data warehouse OLAP;

databand-etl-logfile_hadoop: Colete e limpe dados do arquivo de log para armazenamento distribuído do Hadoop;

databand-etl-mq_ods: coleta dados por meio do consumo do MQ e os insere no banco de dados ods;

databand-etl-mq_olap: coleta dados por meio do consumo MQ e os insere na biblioteca OLAP;

databand-etl-mq_hadoop: Colete dados por meio do consumo do MQ e entre no Hadoop; - databand-ml: Engenharia de ciência de dados;

Trabalho de análise de dados (projeto de agendamento de trabalho agendado)

databand-job-springboot: serviço de agendamento de tarefas agendadas, suporta tarefas shell, hive, python, spark-sql, java jar.

databand-streamjob-springboot: trabalho de streaming de dados, suporta consumo de dados kafka para clickhouse, mysql, es, etc.

Portal de análise de dados (gerenciamento back-end e projeto de exibição front-end)

databand-admin-ui: Projeto de UI front-end puro com separação front-end e back-end, exibição de dados (atualmente não desenvolvido);

databand-admin-thymeleaf: permissões de back-end, relacionamentos, gerenciamento de configuração do site (front-end e back-end não estão separados, em desenvolvimento), baseado na estrutura Ruoyi;

databand-admin-api: serviço de API de dados;

databand-admin-tools: conjunto de ferramentas de BI;

Dados de transmissão ao vivo

databand-rt-flinkstreaming: processamento de fluxo de dados em tempo real. Principalmente PV e UV, envolvendo usos básicos como janela, agregação, atraso, marca d'água, estatísticas, ponto de verificação, etc.;

databand-rt-redis: algum armazenamento em cache para processamento em tempo real;

databand-rt-sparkstreaming: estimula o processamento de fluxo de dados em tempo real, semelhante à função do flink, principalmente streaming estruturado;