Hervidor inteligente v1.0

Smart Kettle: plataforma de monitoreo de servicios de programación de big data de Kettle basada en Springboot

Editor de códigos descendentes

Smart Kettle es una plataforma de monitoreo de servicios de programación de big data de Kettle basada en la arquitectura back-end de microservicio Springboot actualmente popular en Internet y que utiliza Vue, iView y otras tecnologías de componentes de front-end enriquecidos. Está diseñado para resolver el problema de no poder configurar, programar y monitorear Kettle a través de la Web en escenarios comerciales de extracción de datos empresariales.

Ventajas del hervidor inteligente

Smart Kettle ha empaquetado y optimizado el uso de Kettle para los puntos débiles comunes en el negocio de procesamiento de datos empresariales, de modo que también pueda tener funciones básicas de configuración, programación y monitoreo de conversión y trabajos de Kettle en el lado web. Esto puede, en gran medida, ayudar a las empresas a completar las capacidades ETL (extracción, transformación y procesamiento) de datos en diferentes escenarios comerciales.

Nota: Este sistema no es una reingeniería del código fuente de Kettle, sino que utiliza la API de Kettle para lograr una magnífica transformación de las funciones del lado web de Kettle.

Características

1. Plataforma de monitoreo y programación del lado web de Lightweight Kettle

Admite configuraciones de plantillas personalizadas para trabajos y transiciones.

Admite la copia de plantillas multitarea de trabajos y transformaciones.

Admite la sincronización de configuraciones de trabajos y conversiones del lado GUI al lado web.

Admite la configuración de rutas personalizadas de registros para trabajos y conversiones.

Admite la gestión de descargas de archivos de registro para trabajos y conversiones.

Admite la configuración de la biblioteca de recursos de la biblioteca de archivos.

Admite la configuración de la biblioteca de recursos de la base de datos.

Admite la configuración de la biblioteca de recursos remotos de SFTP/FTP/FTPS.

Admite la visualización del árbol de directorios de la biblioteca de recursos.

Admite la programación de trabajos y transformaciones en clúster (llamadas a subservidor remoto).

Admite la configuración de programación de trabajos y transformaciones.

Admite el seguimiento y la gestión de trabajos y conversiones.

Apoya la ejecución local de obras y transformaciones.

Soporta la ejecución remota de trabajos y transformaciones.

Admite la configuración programada de trabajos y conversiones.

Admite el seguimiento en tiempo real de trabajos y conversiones.

Admite la gestión de la biblioteca de recursos web de Kettle.

Admite configuraciones personalizadas de grupos de subprocesos y procesamiento paralelo de tareas.

Admite monitoreo de alarmas y administración de registros de tareas de Kettle.

Proporciona configuraciones personalizadas enriquecidas para la biblioteca empresarial y la biblioteca de diccionarios.

Proporciona monitoreo de despacho completo y en tiempo real.

Proporcionar administración de usuarios, roles y permisos del sistema.

Proporciona capacidades de monitoreo en tiempo real para los scripts de consulta de bases de datos de Druid.

Admite Kettle 7.0.1+ y superior, la versión actual es 9.2.0.0-179 (nota: los complementos del codificador de contraseña de hervidor deben configurarse, este sistema se ha integrado, no se requiere configuración adicional).

2. Diseño de separación de front-end y back-end

La arquitectura backend se implementa en base a Springboot.

El servidor puede publicar servicios REST.

La arquitectura front-end se basa en VUE y los componentes de datos son más ricos y fáciles de mantener.

El cliente obtiene datos del servidor a través de AJAX y representa la interfaz.

3. Implementación basada en tecnología de microservicios.

La arquitectura de back-end utiliza el marco x-common-base de construcción propia.

El backend encapsula x-kettle-core, un potente complemento de interfaz basado en Kettle.

El marco backend se implementa en base a Springboot + Mybatis.

El marco back-end es fácil de migrar, desarrollar secundariamente y mantener.

4. Implementación front-end basada en un marco VUE progresivo

Los componentes funcionales son fáciles de desarrollar y mantener.

Es fácil para los principiantes comenzar y comenzar en poco tiempo.

La interfaz es más bonita y los componentes son más ricos.

Requisitos medioambientales

Maven3+

JDK1.8+

MySQL5.7+

Resumir

Smart Kettle proporciona una plataforma de monitoreo de servicios de programación de big data Kettle conveniente y eficiente para ayudar a las empresas a administrar y monitorear los procesos de procesamiento de datos de manera más eficiente. Su diseño de separación de front-end y back-end, basado en la implementación de microservicios y marco VUE, proporciona a las empresas soluciones flexibles y escalables.