Bouilloire intelligente v1.0

Smart Kettle - Plateforme de surveillance des services de planification Big Data Kettle basée sur Springboot

Éditeur de downcodes

Smart Kettle est une plate-forme de surveillance des services de planification Big Data Kettle basée sur l'architecture back-end de microservices Springboot actuellement populaire sur Internet et utilisant de riches technologies frontales Vue, iView et d'autres composants. Il est conçu pour résoudre le problème de l'impossibilité de configurer, de planifier et de surveiller Kettle via le Web dans des scénarios commerciaux d'extraction de données d'entreprise.

Avantages de la bouilloire intelligente

Smart Kettle a emballé et optimisé l'utilisation de Kettle pour les problèmes courants dans le domaine du traitement des données d'entreprise, de sorte qu'il puisse également disposer de fonctions de base de configuration, de planification et de surveillance des tâches et des conversions Kettle du côté Web. Cela peut, dans une large mesure, aider les entreprises à compléter les capacités ETL (extraction, transformation et traitement) des données dans différents scénarios commerciaux.

Remarque : ce système n'est pas une réingénierie du code source de Kettle, mais utilise l'API de Kettle pour réaliser une transformation magnifique des fonctions côté Web de Kettle.

Caractéristiques

1. Plateforme de planification et de surveillance côté Web Lightweight Kettle

Prend en charge les paramètres de modèles personnalisés pour les tâches et les transitions.

Prend en charge la copie de modèles multitâches de tâches et de transformations.

Prend en charge la synchronisation des configurations des tâches et des conversions côté interface graphique vers le côté Web.

Prend en charge la configuration de chemin personnalisé des journaux pour les tâches et les conversions.

Prend en charge la gestion du téléchargement des fichiers journaux pour les tâches et les conversions.

Prise en charge de la configuration de la bibliothèque de ressources de la bibliothèque de fichiers.

Prise en charge de la configuration de la bibliothèque de ressources de base de données.

Prend en charge la configuration de la bibliothèque de ressources distantes de SFTP/FTP/FTPS.

Prend en charge l’affichage de l’arborescence des répertoires de bibliothèques de ressources.

Prend en charge la planification en cluster des tâches et des transformations (appels de sous-serveur distant).

Prend en charge la configuration de la planification des tâches et des transformations.

Prend en charge la surveillance et la gestion des travaux et des conversions.

Prend en charge l’exécution locale des tâches et des transformations.

Prend en charge l'exécution à distance des tâches et des transformations.

Prend en charge la configuration planifiée des tâches et des conversions.

Prend en charge la surveillance en temps réel des tâches et des conversions.

Prend en charge la gestion de la bibliothèque de ressources Web de Kettle.

Prend en charge les paramètres de pool de threads personnalisés et le traitement parallèle des tâches.

Prend en charge la surveillance des alarmes et la gestion des journaux des tâches Kettle.

Fournit de riches paramètres personnalisés pour la bibliothèque professionnelle et la bibliothèque de dictionnaires.

Fournit une surveillance complète des expéditions en temps réel.

Assurer la gestion des utilisateurs, des rôles et des autorisations du système.

Fournit des capacités de surveillance en temps réel pour les scripts de requête de base de données Druid.

Prend en charge Kettle 7.0.1+ et supérieur, la version actuelle est 9.2.0.0-179 (remarque : les plugins kettle-password-encoder-plugins doivent être configurés, ce système a été intégré, aucune configuration supplémentaire n'est requise).

2. Conception de séparation frontale et back-end

L'architecture backend est implémentée sur la base de Springboot.

Le serveur peut publier des services REST.

L'architecture frontale est basée sur VUE et les composants de données sont plus riches et plus faciles à maintenir.

Le client obtient les données du serveur via AJAX et restitue l'interface.

3. Implémentation basée sur la technologie des microservices

L'architecture back-end utilise le framework x-common-base auto-construit.

Le backend encapsule x-kettle-core, un puissant plug-in d'interface basé sur Kettle.

Le framework backend est implémenté sur la base de Springboot + Mybatis.

Le framework back-end est facile à migrer, à développer secondairement et à maintenir.

4. Implémentation frontale basée sur le cadre progressif VUE

Les composants fonctionnels sont faciles à développer et à maintenir.

Il est facile pour les novices de se lancer et de se lancer en peu de temps.

L'interface est plus belle et les composants sont plus riches.

Exigences environnementales

Maven3+

JDK1.8+

MySQL5.7+

Résumer

Smart Kettle fournit une plate-forme de surveillance des services de planification de Big Data Kettle pratique et efficace pour aider les entreprises à gérer et à surveiller plus efficacement les processus de traitement des données. Sa conception de séparation front-end et back-end, basée sur la mise en œuvre de microservices et du framework VUE, offre aux entreprises des solutions flexibles et évolutives.