데이터밴드 v1.0
1.0
DataBand(데이터 도움말), 신속한 수집 및 정리, 작업 관리, 실시간 스트림 및 배치 데이터 분석, 데이터 시각화, 신속한 데이터 템플릿 개발, ETL 도구 세트, 데이터 과학 등 경량화된 원스톱 빅데이터 플랫폼입니다. 스마트 애플리케이션, 데이터 분석, 컨설팅 서비스를 제공하여 최적의 솔루션을 제공하는데 최선을 다하고 있습니다.
저장
분산 스토리지: HDFS, HBase
행 관계형 스토리지: MySQL, Oracle
컬럼 보관: ClickHouse
컬럼 패밀리 스토리지: HBase, Cassandra
문서 라이브러리: ElasticSearch, MongoDB
믿다
컴퓨팅 엔진: Presto, Hive
스트림 처리: Storm, Flink
통합
플룸
파일비트
로그스태시
프런트엔드 기술 스택
뷰
요소 UI
백엔드 기술 스택
스프링 부트
스프링 클라우드
마이바티스
빅데이터는 데이터 소스를 시뮬레이션하여 데이터를 생성합니다(데이터 준비 엔지니어링).
데이터 소스
databand-mock-api: 인터페이스 시뮬레이션 도구, 비즈니스 시스템 API를 시뮬레이션합니다.
databand-mock-log: 로그 시뮬레이션 도구는 Syslog, 로그, CSV 생성, Json, MySQL 주입, RPC 쓰기, NetCat 등과 같은 디버깅 및 테스트를 위해 대량의 로그 데이터를 수동으로 생성합니다.
databand-mock-mq: RaadfdsitMQ 작성, Kafka 작성 등과 같은 MQ 작성을 통해 디버깅 및 테스트를 위해 대량의 로그 데이터를 생성하는 로그 시뮬레이션 도구입니다.
databand-mock-hadoop: hdfs 및 mapreduce와 관련된 빅 데이터 로그 시뮬레이션 도구입니다.
데이터 수집 및 정리(수집 정리 프로젝트)
databand-etl-mysql_ods: MySQL과 같은 mysql 데이터를 ods 임시 중간 라이브러리(Redis, Kafka 등 포함)로 수집하고 정리합니다.
databand-etl-mysql_olap: OLAP 데이터 웨어하우스에 mysql 데이터를 수집하고 정리합니다.
databand-etl-mysql_hadoop: mysql 데이터를 Hadoop 분산 스토리지로 수집하고 정리합니다.
databand-etl-logfile_ods: json, xml, log, csv 파일 데이터와 같은 반구조화된 로그 파일을 수집하고 ods 임시 중간 라이브러리로 정리합니다.
databand-etl-logfile_olap: 반구조화된 로그 파일 데이터를 수집하고 OLAP 데이터 웨어하우스로 정리합니다.
databand-etl-logfile_hadoop: 로그 파일 데이터를 Hadoop 분산 스토리지로 수집하고 정리합니다.
databand-etl-mq_ods: MQ 소비를 통해 데이터를 수집하고 이를 ods 데이터베이스에 입력합니다.
databand-etl-mq_olap: MQ 소비를 통해 데이터를 수집하고 이를 OLAP 라이브러리에 입력합니다.
databand-etl-mq_hadoop: MQ 소비를 통해 데이터를 수집하고 Hadoop에 진입합니다.- databand-ml: 데이터 과학 엔지니어링;
데이터 분석 업무(예정작업 스케줄링 프로젝트)
databand-job-springboot: 예약된 작업 작업 예약 서비스, 셸, 하이브, Python, Spark-sql, Java jar 작업을 지원합니다.
databand-streamjob-springboot: 스트리밍 데이터 작업, clickhouse, mysql, es 등에 대한 kafka 데이터 소비를 지원합니다.
데이터 분석 포털(백엔드 관리 및 프런트엔드 디스플레이 프로젝트)
databand-admin-ui: 프런트엔드와 백엔드 분리, 데이터 표시 기능을 갖춘 순수 프런트엔드 UI 프로젝트(현재 개발되지 않음)
databand-admin-thymeleaf: Ruoyi 프레임워크를 기반으로 하는 백엔드 권한, 관계, 사이트 구성 관리(프론트엔드와 백엔드가 분리되지 않고 개발 중임)
databand-admin-api: 데이터 API 서비스;
databand-admin-tools: BI 도구 세트;
라이브 스트리밍 데이터
databand-rt-flinkstreaming: flink 실시간 데이터 스트림 처리. 주로 PV 및 UV이며 창, 집계, 지연, 워터마크, 통계, 체크포인트 등과 같은 기본 사용법이 포함됩니다.
databand-rt-redis: 실시간 처리를 위한 일부 캐시 저장소;
databand-rt-sparkstreaming: 실시간 데이터 스트림 처리를 스파크합니다. flink 기능과 유사하며 주로 구조화된 스트리밍입니다.
