Smart Kettle - 基于 Springboot 的 Kettle 大数据调度服务监控平台
Downcodes小编
Smart Kettle 是一款基于当前互联网热门的 Springboot 微服务后端架构,采用丰富的前端 Vue、iView 等组件技术构造的 Kettle 大数据调度服务监控平台。它旨在解决企业数据抽取业务场景中,无法通过 Web 方式配置、调度、监控 Kettle 的痛点。
Smart Kettle 的优势
Smart Kettle 针对企业数据处理业务中常见的痛点,对 Kettle 的使用进行了包装和优化,使其在 Web 端也能具备基础的 Kettle 作业和转换配置、调度、监控功能。这在很大程度上能够协助企业完成不同业务场景下数据的 ETL(抽取、转换、加工)能力。
注意:本系统并非是对 Kettle 源码的再造,而是借助 Kettle 的 API,实现 Kettle 在 Web 端功能上的华丽转身。
功能特点
1. 轻量级 Kettle Web 端调度监控平台
支持作业和转换的自定义模板设置。
支持作业和转换的多任务模板复制。
支持作业和转换的 GUI 端配置同步到 Web 端。
支持作业和转换的日志自定路径配置。
支持作业和转换的日志文件下载管理。
支持文件库资源库配置。
支持数据库资源库配置。
支持 SFTP/FTP/FTPS 的远程资源库配置。
支持资源库目录树查看。
支持作业和转换的集群调度(远程子服务器调用)。
支持作业和转换的调度配置。
支持作业和转换的监控管理。
支持作业和转换的本地执行。
支持作业和转换的远程执行。
支持作业和转换的定时配置。
支持作业和转换的实时监控。
支持 Kettle 的 Web 端资源库管理。
支持自定义线程池设置、任务的并行处理。
支持 Kettle 任务的告警监控、日志管理。
提供丰富的业务库、字典库自定义设置。
提供完整的、实时的调度监控大盘。
提供系统的用户、角色、权限管理。
提供 Druid 数据库查询脚本的实时监控能力。
支持 Kettle 7.0.1+ 以上版本,当前版本为 9.2.0.0-179(注意:需要配置 kettle-password-encoder-plugins,本系统已经集成进来,无需再配置)。
2. 前后端分离设计
后端架构基于 Springboot 实现。
服务端可发布 REST 服务。
前端架构基于 VUE,数据组件更加丰富、易于维护。
客户端通过 AJAX 获取服务端数据并进行界面渲染。
3. 基于微服务技术的实现
后端架构采用自建的 x-common-base 框架。
后端封装了基于 Kettle 的强大接口插件 x-kettle-core。
后端框架基于 Springboot + Mybatis 实现。
后端框架易于迁移、二次开发、方便维护。
4. 基于渐进式 VUE 框架的前端实现
功能组件化,易于二次开发维护。
新手容易上手,短时间内入门。
界面更加美观、组件更加丰富。
环境要求
Maven3+
JDK1.8+
MySQL5.7+
总结
Smart Kettle 提供了一个便捷、高效的 Kettle 大数据调度服务监控平台,帮助企业更高效地管理和监控数据处理流程。其前后端分离的设计,基于微服务和 VUE 框架的实现,为企业提供了灵活、可扩展的解决方案。