ДатаБанд v1.0
1.0
DataBand (помощь по данным), быстрый сбор и очистка, управление задачами, анализ потоков и пакетных данных в реальном времени, визуализация данных, быстрая разработка шаблонов данных, набор инструментов ETL, обработка данных и т. д. Это легкая универсальная платформа для больших данных. Мы стремимся предоставлять оптимальные решения, предоставляя интеллектуальные приложения, анализ данных и консультационные услуги.
хранилище
Распределенное хранилище: HDFS, HBase.
Реляционное хранилище строк: MySQL, Oracle.
Колоночное хранилище: ClickHouse
Хранение семейства столбцов: HBase, Cassandra.
Библиотека документов: ElasticSearch, MongoDB.
вычислить
Вычислительный движок: Presto, Hive
Потоковая обработка: Storm, Flink
интегрированный
лоток
Файлбит
Логсташ
Стек интерфейсных технологий
Вю
Элемент пользовательского интерфейса
Стек серверных технологий
Весенние ботинки
Весеннее облако
МойБатис
Большие данные моделируют источники данных для генерации данных (инжиниринг подготовки данных)
источник данных
databand-mock-api: инструмент моделирования интерфейса, имитирующий API бизнес-системы;
databand-mock-log: инструмент моделирования журналов, вручную генерирует большой объем данных журналов для отладки и тестирования, таких как системный журнал, журнал, генерация CSV, Json, внедрение MySQL, запись RPC, NetCat и т. д.;
databand-mock-mq: инструмент моделирования журналов, который генерирует большой объем данных журнала для отладки и тестирования посредством записи MQ, например записи RaadfdsitMQ, записи Kafka и т. д.;
databand-mock-hadoop: инструмент моделирования журналов больших данных, связанный с hdfs и mapreduce;
Сбор и очистка данных (проект по очистке коллекции)
databand-etl-mysql_ods: собирать и очищать данные MySQL, такие как MySQL, во временную промежуточную библиотеку ods (включая Redis, Kafka и т. д.);
databand-etl-mysql_olap: сбор и очистка данных MySQL в хранилище данных OLAP;
databand-etl-mysql_hadoop: сбор и очистка данных MySQL в распределенном хранилище Hadoop;
databand-etl-logfile_ods: собирать и очищать полуструктурированные файлы журналов, такие как данные json, xml, log, csv, во временную промежуточную библиотеку ods;
databand-etl-logfile_olap: сбор и очистка полуструктурированных данных файла журнала в хранилище данных OLAP;
databand-etl-logfile_hadoop: сбор и очистка данных файла журнала в распределенном хранилище Hadoop;
databand-etl-mq_ods: собирать данные посредством потребления MQ и вводить их в базу данных ods;
databand-etl-mq_olap: собирать данные посредством потребления MQ и вводить их в библиотеку OLAP;
databand-etl-mq_hadoop: сбор данных посредством использования MQ и вход в Hadoop;- databand-ml: инженерия обработки данных;
Задание по анализу данных (проект планирования запланированных заданий)
databand-job-springboot: служба планирования заданий по расписанию, поддерживает задачи оболочки, hive, python, spark-sql, java jar.
databand-streamjob-springboot: задание потоковой передачи данных, поддерживает использование данных Kafka в Clickhouse, MySQL, ES и т. д.
Портал анализа данных (проект внутреннего управления и внешнего отображения)
databand-admin-ui: проект чистого пользовательского интерфейса с разделением внешнего и внутреннего интерфейса, отображением данных (в настоящее время не разработано);
databand-admin-thymeleaf: внутренние разрешения, отношения, управление конфигурацией сайта (интерфейсная и серверная части не разделены, в разработке), на основе платформы Ruoyi;
databand-admin-api: служба API данных;
databand-admin-tools: набор инструментов BI;
Данные прямой трансляции
databand-rt-flinkstreaming: обработка потока данных в режиме реального времени. В основном PV и UV, включая базовое использование, такое как окно, агрегирование, задержка, водяной знак, статистика, контрольная точка и т. д.;
databand-rt-redis: некоторое кэш-память для обработки в реальном времени;
databand-rt-sparkstreaming: искровая обработка потока данных в реальном времени, аналогичная функции flink, в основном структурированная потоковая передача;
