klaw

Klaw ·

Klaw ist vollständig Open Source. ?

Klaw ist ein Self-Service-Tool/Portal für Apache Kafka® Topic Management/Governance. Es handelt sich um eine Webanwendung, die den Prozess des Erstellens und Durchsuchens von Apache Kafka-Themen, ACLs, Avro-Schemas und Konnektoren automatisiert, indem sie Benutzern verschiedener Teams einer Organisation Rollen/Berechtigungen einführt.

Mit mehreren Downloads pro Woche können viel mehr Unternehmen, die keine Lösung eingeführt haben, problemlos auf die Verwaltung von Apache Kafka-Konfigurationen in Excel-Tabellen, Confluence, Wiki-Seiten, Git usw. verzichten.

Gebaut mit

• Bootstrap-Benutzeroberfläche, Angular, Javascript, HTML, CSS
• Maven – Abhängigkeitsmanagement
  • Mvnw ist ein Maven-Wrapper und im Klaw Git Repo enthalten
• Java (Jdk 17, 21), Spring Boot 3, Spring Security, SQL, Apache Kafka Admin-Client
• Machen

Neue React-Benutzeroberfläche

Nicht erforderlich, aber um die neueste Erfahrung zu erhalten, empfehlen wir, auch die React-Benutzeroberfläche zu erstellen. Letzte:

• pnpm (>=9.0.0 <10.0.0)
• nodejs (>=20.0.0 <21.0.0)

Vor dem 20. August 2024

• pnpm (>=8.0.0 <9.0.0)
• nodejs (>=18.0.0 <19.0.0)

Wenn Sie sich nicht sicher sind, welche Version Sie lokal benötigen, können Sie die Informationen hier unter „Engines“ einsehen.

Formatierung

Die Formatierung kann schwierig sein. Um ein konsistentes Java-Codeformat beizubehalten, verwenden wir das Spotless-Maven-Plugin. Führen Sie den folgenden Befehl aus, um Ihre Codeänderungen zu formatieren.

• mvn makellos: anwenden

Versionierung

Die verfügbaren Versionen finden Sie in den Tags in diesem Repository.

Architektur:

Merkmale:

• Themen (Genehmigung): Erstellen, Aktualisieren, Löschen, Heraufstufen

  • React UI ist jetzt standardmäßig in der Konfiguration aktiviert. Wenn bereits reaktionsbasierte Assets erstellt wurden, sollte die neue Benutzeroberfläche sichtbar sein.
  • React-Benutzeroberfläche – Neues Erscheinungsbild für Themen durchsuchen, Themenanforderung erstellen, ACL-Anfrage, Schemaanforderung und Connector-Anfrage
  • React-Benutzeroberfläche – Neues Erscheinungsbild für die Genehmigung von Themen, ACLs, Schemas und Konnektoren
  • React-Benutzeroberfläche – Neues Erscheinungsbild für die Anzeige der „Anfragen meines Teams“ für Themen, ACLs, Schemas und Konnektoren
  • Themenanfragen können jetzt nach der Erstellung bearbeitet werden, sodass Sie sie ändern können, um etwaige Fehler zu korrigieren.

• ACLs (Genehmigung): Erstellen, Löschen

  • React UI – Acl-Anfrage erstellen
  • Für ACLs erstellte Dienstkonten werden dem Erstellungsteam zugewiesen

• Konnektoren (Zulassung): Anlegen

  • Es kann jeder Connector erstellt werden, solange die erforderlichen Plugin-Bibliotheken auf dem Server installiert sind.
  • Die Connector-Konfiguration verschlüsselt jetzt aus Sicherheitsgründen die Passwortkonfiguration.

• Avro Schemas (Genehmigung): Erstellen

  • Sehen Sie sich alle verfügbaren Versionen der Themen pro Thema an
  • React UI – Schemaanforderung erstellen
  • Vorabvalidierung der Schemakompatibilität bei der Schemaanforderungserstellung

• Themenübersicht:

  • Die React-Benutzeroberfläche bietet jetzt eine neu gestaltete Themenübersicht und alle ihre Funktionen zur Verbesserung der Benutzererfahrung.
  • Themenkonfiguration
  • Fördern
  • Literale und vorangestellte Abonnements
  • Themendokumentation
  • Verbraucherausgleiche/Verzögerungen
  • Themeninhalte anzeigen

• Erstellt, abgeschlossen, abgelehnt, alle Themenanfragen anzeigen

• Erstellt, abgeschlossen, abgelehnt, alle ACL-Anfragen anzeigen

• Erstellt, abgeschlossen, abgelehnt, alle Connector-Anfragen anzeigen

• Alle erstellten, abgeschlossenen und abgelehnten Avro-Schema-Anfragen anzeigen

• Synchronisierung (Migration) von und zu Apache Kafka-Clustern (Themen, ACLs, Schemas und Konnektoren)

• Abstimmung und E-Mail-Benachrichtigungen zu Unterschieden zwischen Klaw und Clusters

• Konfiguration wiederherstellen (Themen, ACLS)

• Login

  • Azure-/Active-Directory-Integration
  • Single Sign-On (OAuth2)
  • Basierend auf Datenbank

• Konfigurieren Sie Cluster und Umgebungen

  • Cluster können durch Verbindung mit Apache Kafka-Clustern erstellt werden. (Cluster Management API sollte konfiguriert sein)
  • Umgebungen sind Wrapper über Cluster und erzwingen flexible Konfigurationen wie Präfix, Suffix usw
  • Kafka Rest Proxy kann dem Cluster hinzugefügt werden, um die URL-Informationen des Rest-Proxys zu speichern.

• Benutzer, Teams und Berechtigungen

  • Konfigurierbare Benutzer, Teams
  • Mehr als 35 Berechtigungen
  • Konfigurierbare Rollen (Rollen können zur Autorisierung aus AD abgerufen werden)
  • Möglichkeit, zwischen verschiedenen Teams zu wechseln

• Konventionen zur Themenbenennung

  • Erzwingen Sie Präfixe, Suffixe und/oder reguläre Ausdrücke pro Umgebung

• Excel-Bericht (für Ihr Team und alle Teams, je nach Rolle)

  • Themen pro Cluster (für Teams)
  • Partitionen pro Cluster
  • Gesamtthemen in allen Clustern
  • ACLs pro Cluster (für Teams)
  • Produzenten-ACLs (für Teams)
  • Verbraucher-ACLs (für Teams)
  • Verbrauchergruppen aller Umgebungen
  • Anfragen pro Tag

• Analytik

  • Zeigen Sie Diagramme mit Themen, Partitionen, ACLs und Anforderungen an

• Mehrmandantenfähigkeit

  • Jeder Mieter kann seine Themen mit seinen eigenen Teams isoliert verwalten.
  • Jeder Mandant kann seinen eigenen Satz von Kafka-Umgebungen haben, und Benutzer eines Mandanten können Themen, ACLs oder andere Mandanten nicht anzeigen/auf diese zugreifen.
  • Es bietet eine Isolierung, die jegliche Sicherheitsverletzung vermeidet.

• Apache Kafka-Konnektivität

  • PLAINTEXT, SSL, SASL

• Prüfung

  • Alle Themen-, ACL-, Schema- und Connector-Anfragen

• E-Mail-Benachrichtigungen wann

  • Anfragen werden erstellt, genehmigt und abgelehnt
  • Benutzer werden erstellt und genehmigt

• Hilfe-Assistent zum Einrichten von Klaw

Siehe Funktionen von Klaw in der Dokumentation

Dokumentation

• Benutzerdokumentation: https://klaw-project.io/docs
• Technische Dokumentation für Mitwirkende:
  • Allgemeine Dokumentation: ./docs
  • Spezifische Dokumentation für die React-App coral : ./coral/docs
• Tragen Sie hier zur Verbesserung der Klaw-Dokumentation bei

Fragen und Antworten

Wir ermutigen jeden, Fragen zu stellen. Wenn Sie eine Frage haben, stellt das sicher auch jemand anderes.

• Fragen Sie im Klaw-Community-Forum
• Lesen Sie im Klaw-Community-Forum
• Fragen und lesen Sie in den Klaw-GitHub-Diskussionen

Das Klaw-Team wird in beiden Foren Fragen und Antworten posten. Das Klaw Community Support-Forum, das von Aiven direkt gehostet und unterstützt wird, ist für andere Interessenten besser sichtbar, daher würden wir dazu ermutigen, dort Fragen zu stellen. Wir werden sowohl in GitHub-Diskussionen als auch im Community-Forum auf Fragen antworten und diese beantworten.

Installieren

Handbuch

Verwenden Sie den Maven-Wrapper

• ./mvnw Neuinstallation

Verwenden Sie Ihren eigenen Maven

• MVN-Neuinstallation

Optionaler Schritt: Stellen Sie bei neuen React-UI-Assets sicher, dass pnpm vorinstalliert ist, was zum Erstellen von Coral-Assets erforderlich ist.

Erstellt zwei Artefakte core/target/klaw-.jar und cluster-api/target/cluster-api-.jar

und befolgen Sie die unter https://klaw-project.io/docs definierten Schritte oder führen Sie die Binärdateien wie unten beschrieben aus

java -jar core/target/klaw-.jar

java -jar cluster-api/target/cluster-api-.jar --spring.config.location=cluster-api/target/classes/application.properties

Oder führen Sie bin/run-klaw.sh für Mac/Linux aus

make

1. Klonen Sie dieses Repo, das zwei Maven-Module (Core und Cluster-API) enthält: git clone [email protected]:aiven/klaw.git
2. Führen Sie make , um Abhängigkeiten zu installieren und sowohl Klaw Core als auch die Klaw-Cluster-API einzurichten
3. [Optional] Bearbeiten Sie alle Konfigurationen mit make edit-core-config für Klaw Core oder make edit-cluster-api-config für Klaw-Cluster-API
4. Zum Ausführen können Sie make run-core und make run-cluster-api in verschiedenen Terminalfenstern verwenden oder Sie können make -j2 run-core run-cluster-api ausführen, um beide auszuführen (HINWEIS: Dadurch wird die Ausgabe gemischt und das Debuggen erschwert )

Mit docker

Dockerhub

Jede offizielle Version ist auf Docker in den beiden Repositories verfügbar. Die klaw-core-Docker-Hub-Seite enthält eine Beispiel-Docker-Compose-Datei, die beim Herunterladen und Bereitstellen von Klaw hilft. Die Cluster-API ist auch separat im Docker Hub zu finden.

Vor Ort

Dieses Projekt bietet auch die Möglichkeit, lokale Docker-Images mithilfe von Skripten zu erstellen und bereitzustellen, die in Klaw/docker-scripts bereitgestellt werden.

Lizenz

Klaw ist unter der Apache-Lizenz, Version 2.0, lizenziert. Der vollständige Lizenztext ist in der Datei LICENSE.md verfügbar.

Bitte beachten Sie, dass das Projekt ausdrücklich kein CLA (Contributor License Agreement) von seinen Mitwirkenden erfordert.

Kontakt

Fehlerberichte und Patches sind sehr willkommen. Bitte posten Sie sie als GitHub-Probleme und Pull-Requests unter https://github.com/aiven/klaw. Mögliche Schwachstellen oder andere schwerwiegende Probleme sollten direkt den Betreuern [email protected] gemeldet werden.

Warenzeichen

Apache Kafka ist entweder eine eingetragene Marke oder eine Marke der Apache Software Foundation in den Vereinigten Staaten und/oder anderen Ländern. Alle auf dieser Seite verwendeten Produkt- und Servicenamen dienen nur zu Identifikationszwecken und stellen keine Empfehlung dar.

Credits

Klaw (ehemals Kafkawize) wird von den Open-Source-Entwicklern Aiven verwaltet.

Aktuelle Mitwirkende sind auf der GitHub-Projektseite https://github.com/aiven/klaw/graphs/contributors aufgeführt

Copyright (c) 2024 Aiven Oy und Mitwirkende des Klaw-Projekts.