Smart Kettle v1.0

Smart Kettle – Kettle Big-Data-Planungsdienst-Überwachungsplattform basierend auf Springboot

Downcodes-Editor

Smart Kettle ist eine Kettle-Plattform zur Überwachung von Big-Data-Planungsdiensten, die auf der derzeit im Internet beliebten Springboot-Microservice-Back-End-Architektur basiert und umfangreiche Front-End-Technologien wie Vue, iView und andere Komponenten verwendet. Es wurde entwickelt, um das Problem zu lösen, dass Kettle in Geschäftsszenarien zur Datenextraktion in Unternehmen nicht über das Web konfiguriert, geplant und überwacht werden kann.

Vorteile von Smart Kettle

Smart Kettle hat die Verwendung von Kettle für häufig auftretende Schwachstellen im Datenverarbeitungsgeschäft von Unternehmen gepackt und optimiert, sodass auf der Webseite auch grundlegende Kettle-Job- und Konvertierungskonfigurations-, Planungs- und Überwachungsfunktionen verfügbar sind. Dies kann Unternehmen in hohem Maße bei der Vervollständigung der ETL-Funktionen (Extraktion, Transformation und Verarbeitung) von Daten in verschiedenen Geschäftsszenarien unterstützen.

Hinweis: Bei diesem System handelt es sich nicht um eine Überarbeitung des Kettle-Quellcodes, sondern es wird die Kettle-API verwendet, um eine großartige Transformation der webseitigen Funktionen von Kettle zu erreichen.

Merkmale

1. Lightweight Kettle, webseitige Planungs- und Überwachungsplattform

Unterstützt benutzerdefinierte Vorlageneinstellungen für Jobs und Übergänge.

Unterstützt das Multitasking-Vorlagenkopieren von Jobs und Transformationen.

Unterstützt die Synchronisierung von GUI-seitigen Konfigurationen von Jobs und Konvertierungen mit der Webseite.

Unterstützt die benutzerdefinierte Pfadkonfiguration von Protokollen für Jobs und Konvertierungen.

Unterstützt die Protokolldatei-Download-Verwaltung für Jobs und Konvertierungen.

Unterstützt die Konfiguration der Dateibibliotheksressourcenbibliothek.

Unterstützt die Konfiguration der Datenbankressourcenbibliothek.

Unterstützt die Konfiguration der Remote-Ressourcenbibliothek von SFTP/FTP/FTPS.

Unterstützt die Anzeige der Verzeichnisstruktur der Ressourcenbibliothek.

Unterstützt die Clusterplanung von Jobs und Transformationen (Remote-Subserver-Aufrufe).

Unterstützt die Planung der Konfiguration von Jobs und Transformationen.

Unterstützt die Überwachung und Verwaltung von Jobs und Konvertierungen.

Unterstützt die lokale Ausführung von Jobs und Transformationen.

Unterstützt die Remote-Ausführung von Jobs und Transformationen.

Unterstützt die geplante Konfiguration von Jobs und Konvertierungen.

Unterstützt die Echtzeitüberwachung von Jobs und Konvertierungen.

Unterstützen Sie die Verwaltung der Webressourcenbibliothek von Kettle.

Unterstützt benutzerdefinierte Thread-Pool-Einstellungen und die parallele Verarbeitung von Aufgaben.

Unterstützt die Alarmüberwachung und Protokollverwaltung von Kettle-Aufgaben.

Bietet umfangreiche benutzerdefinierte Einstellungen für die Geschäftsbibliothek und die Wörterbuchbibliothek.

Bietet eine vollständige Versandüberwachung in Echtzeit.

Stellen Sie Systembenutzer, Rollen und Berechtigungsverwaltung bereit.

Bietet Echtzeitüberwachungsfunktionen für Druid-Datenbankabfrageskripte.

Unterstützt Kettle 7.0.1+ und höher, die aktuelle Version ist 9.2.0.0-179 (Hinweis: Kettle-Password-Encoder-Plugins müssen konfiguriert werden, dieses System wurde integriert, keine weitere Konfiguration erforderlich).

2. Front-End- und Back-End-Trennungsdesign

Die Backend-Architektur ist auf Basis von Springboot implementiert.

Der Server kann REST-Dienste veröffentlichen.

Die Front-End-Architektur basiert auf VUE und die Datenkomponenten sind umfangreicher und einfacher zu warten.

Der Client erhält Serverdaten über AJAX und rendert die Schnittstelle.

3. Implementierung basierend auf Microservice-Technologie

Die Back-End-Architektur nutzt das selbst erstellte x-common-base-Framework.

Das Backend kapselt x-kettle-core, ein leistungsstarkes Schnittstellen-Plug-in basierend auf Kettle.

Das Backend-Framework ist auf Basis von Springboot + Mybatis implementiert.

Das Back-End-Framework ist einfach zu migrieren, sekundär zu entwickeln und zu warten.

4. Front-End-Implementierung basierend auf dem progressiven VUE-Framework

Funktionale Komponenten sind einfach zu entwickeln und zu warten.

Für Anfänger ist der Einstieg einfach und der Einstieg erfolgt in kurzer Zeit.

Die Benutzeroberfläche ist schöner und die Komponenten umfangreicher.

Umweltanforderungen

Maven3+

JDK1.8+

MySQL5.7+

Zusammenfassen

Smart Kettle bietet eine praktische und effiziente Überwachungsplattform für Kettle-Big-Data-Planungsdienste, mit der Unternehmen Datenverarbeitungsprozesse effizienter verwalten und überwachen können. Sein Front-End- und Back-End-Trennungsdesign, das auf der Implementierung von Microservices und dem VUE-Framework basiert, bietet Unternehmen flexible und skalierbare Lösungen.