klaw

Klaw ·

Klaw est entièrement open source. ?

Klaw est un outil/portail de gestion de sujets/gouvernance Apache Kafka® en libre-service. Il s'agit d'une application Web qui automatise le processus de création et de navigation dans les sujets, acls, schémas avro et connecteurs Apache Kafka en introduisant des rôles/autorisations aux utilisateurs des différentes équipes d'une organisation.

Avec plusieurs téléchargements chaque semaine, de plus en plus d'entreprises qui n'ont pas adopté de solution peuvent volontiers abandonner la gestion des configurations Apache Kafka dans les feuilles Excel, Confluence, les pages wiki, git etc.

Construit avec

• Interface utilisateur Bootstrap, angulaire, Javascript, HTML, CSS
• Maven - Gestion des dépendances
  • Un wrapper maven, mvnw est inclus dans le dépôt Klaw Git
• Java (Jdk 17, 21), Spring Boot 3, sécurité Spring, SQL, client d'administration Apache Kafka
• Faire

Nouvelle interface utilisateur React

Non obligatoire, mais pour bénéficier de la dernière expérience, nous vous recommandons également de créer l'interface utilisateur React. Dernier:

• pnpm (>=9.0.0 <10.0.0)
• noeudjs (>=20.0.0 <21.0.0)

Avant le 20 août 2024

• pnpm (>=8.0.0 <9.0.0)
• noeudjs (>=18.0.0 <19.0.0)

En cas de doute sur la version dont vous avez besoin localement, vous pouvez consulter les informations ici sous moteurs.

Formatage

Le formatage peut être délicat, donc pour conserver un format de code Java cohérent tout au long de notre utilisation, nous utilisons le plugin Maven impeccable. Exécutez la commande ci-dessous pour formater vos modifications de code.

• mvn impeccable : appliquer

Gestion des versions

Pour les versions disponibles, voir les balises sur ce référentiel.

Architecture:

Caractéristiques:

• Sujets (approbation) : Créer, Mettre à jour, Supprimer, Promouvoir

  • React UI est désormais activé par défaut dans la configuration. Si des actifs basés sur des réactions sont déjà créés, la nouvelle interface utilisateur devrait être visible.
  • React UI - Nouvelle apparence pour Parcourir les sujets, Créer une demande de sujet, une demande Acl, une demande de schéma et une demande de connecteur
  • React UI - Nouvelle apparence pour l'approbation des sujets, des ACL, des schémas et des connecteurs
  • React UI – Nouvelle apparence pour afficher les « Demandes de mon équipe » pour les sujets, les ACL, les schémas et les connecteurs
  • Les demandes de sujet sont désormais modifiables après leur création et vous pouvez donc les modifier pour corriger d'éventuelles erreurs.

• Acls (approbation) : Créer, Supprimer

  • React UI - Créer une demande Acl
  • Les comptes de service créés pour les ACL sont attribués à l'équipe de création

• Connecteurs (approbation) : Créer

  • N'importe quel connecteur peut être créé à condition que les bibliothèques de plugins requises soient installées sur le serveur.
  • La configuration du connecteur crypte désormais la configuration du mot de passe pour des raisons de sécurité.

• Schémas Avro (approbation) : Créer

  • Afficher toutes les versions disponibles des sujets par thème
  • React UI - Créer une demande de schéma
  • Pré validation de la compatibilité des schémas lors de la création de la demande de schéma

• Aperçu du sujet :

  • React UI fournit désormais un aperçu des sujets repensé et toutes ses fonctionnalités pour améliorer l'expérience utilisateur.
  • Configuration du sujet
  • Promouvoir
  • Abonnements littéraux et préfixés
  • Documentation du sujet
  • Compensations/décalage des consommateurs
  • Afficher le contenu du sujet

• Afficher toutes les demandes de sujets créées, complétées, refusées

• Afficher toutes les demandes Acl créées, complétées, refusées

• Afficher toutes les demandes de connecteur créées, terminées, refusées

• Afficher toutes les demandes de schéma Avro créées, complétées, refusées

• Synchronisation (migration) depuis et vers les clusters Apache Kafka (Sujets, Acls, Schémas et Connecteurs)

• Réconciliation et notifications par e-mail sur les différences entre Klaw et Clusters

• Restaurer la configuration (sujets, acls)

• Se connecter

  • Intégration Azure / Active Directory
  • Authentification unique (OAuth2)
  • Basé sur une base de données

• Configurer les clusters et les environnements

  • Des clusters peuvent être créés en se connectant aux clusters Apache Kafka. (L'API de gestion du cluster doit être configurée)
  • Les environnements sont des wrappers sur les clusters, appliquant des configurations flexibles comme le préfixe, le suffixe, etc.
  • Kafka Rest Proxy peut être ajouté au cluster pour stocker les informations d'URL du proxy restant.

• Utilisateurs, équipes et autorisations

  • Utilisateurs et équipes configurables
  • Plus de 35 autorisations
  • Rôles configurables (les rôles peuvent être extraits d'AD pour autorisation)
  • Possibilité de basculer entre différentes équipes

• Conventions de dénomination des sujets

  • Appliquer les préfixes, suffixes et/ou regex par environnement

• Rapport Excel (pour votre équipe et toutes les équipes, selon le rôle)

  • Thèmes par cluster (pour les équipes)
  • Partitions par cluster
  • Thèmes généraux dans tous les clusters
  • Acls par cluster (pour les équipes)
  • Acls de producteur (pour les équipes)
  • Acls consommateur (pour les équipes)
  • Groupes de consommateurs de tous les environnements
  • Demandes par jour

• Analytique

  • Afficher des graphiques de sujets, de partitions, d'acls et de requêtes

• Multilocation

  • Chaque locataire peut gérer ses sujets avec ses propres équipes de manière isolée.
  • Chaque locataire peut avoir son propre ensemble d'environnements Kafka, et les utilisateurs d'un locataire ne peuvent pas afficher/accéder aux sujets, aux ACL ou à ceux d'autres locataires.
  • Il assure un isolement évitant toute faille de sécurité.

• Connectivité Apache Kafka

  • PLAINTEXT, SSL, SASL

• Audit

  • Toutes les demandes de sujets, d'acl, de schémas et de connecteurs

• Notifications par e-mail lorsque

  • les demandes sont créées, approuvées, refusées
  • les utilisateurs sont créés, approuvés

• Assistant d'aide pour configurer Klaw

Voir les fonctionnalités de Klaw dans la documentation

Documentation

• Documentation utilisateur : https://klaw-project.io/docs
• Documentation technique pour les contributeurs :
  • documentation générale : ./docs
  • documentation spécifique à l'application React coral : ./coral/docs
• Contribuez à l’amélioration de la documentation de Klaw ici

Questions et réponses

Nous encourageons tout le monde à poser des questions, si vous avez une question, quelqu'un d'autre la fera certainement aussi.

• Demander sur le forum de la communauté Klaw
• Lire sur le forum de la communauté Klaw
• Demandez et lisez dans les discussions Klaw GitHub

L'équipe Klaw publiera des questions et des réponses sur les deux forums. Le forum de support communautaire Klaw, qui est hébergé et pris en charge directement par Aiven, a plus de visibilité pour les autres parties intéressées, nous encourageons donc les questions à y être posées. Nous répondrons aux questions dans les discussions GitHub et sur le forum communautaire.

Installer

Manuel

Utilisez le wrapper Maven

• ./mvnw installation propre

Utilisez votre propre Maven

• mvn installation propre

Étape facultative : pour les nouveaux actifs React UI, assurez-vous que pnpm est préinstallé, ce qui est requis pour créer des actifs coralliens.

Construit deux artefacts core/target/klaw-.jar et cluster-api/target/cluster-api-.jar

et suivez les étapes définies sur https://klaw-project.io/docs ou exécutez les binaires comme ci-dessous

java -jar core/target/klaw-.jar

java -jar cluster-api/target/cluster-api-.jar --spring.config.location=cluster-api/target/classes/application.properties

Ou exécutez bin/run-klaw.sh pour Mac/Linux

Avec make

1. Clonez ce dépôt contenant deux modules maven (core et cluster-api) : git clone [email protected]:aiven/klaw.git
2. Exécutez make pour installer les dépendances et configurer Klaw Core et Klaw-Cluster-Api
3. [Facultatif] modifiez toutes les configurations en utilisant make edit-core-config pour Klaw Core ou make edit-cluster-api-config pour Klaw-Cluster-API
4. Pour exécuter, vous pouvez utiliser make run-core et make run-cluster-api dans différentes fenêtres de terminal ou vous pouvez exécuter make -j2 run-core run-cluster-api pour exécuter les deux (REMARQUE : cela mélangera la sortie et rendra le débogage plus difficile )

Avec docker

DockerHub

Chaque version officielle est disponible sur docker dans les deux référentiels. La page docker hub de klaw-core contient un exemple de fichier docker-compose qui aidera à télécharger et à déployer Klaw. L'API du cluster peut également être trouvée séparément sur Docker Hub.

Localement

Ce projet a également la capacité de créer et de déployer des images Docker locales à l'aide des scripts fournis dans Klaw/docker-scripts .

Licence

Klaw est sous licence Apache, version 2.0. Le texte complet de la licence est disponible dans le fichier LICENSE.md.

Veuillez noter que le projet ne nécessite explicitement pas de CLA (Contributor License Agreement) de la part de ses contributeurs.

Contact

Les rapports de bogues et les correctifs sont les bienvenus, veuillez les publier en tant que problèmes GitHub et demandes d'extraction sur https://github.com/aiven/klaw. Toute vulnérabilité possible ou autre problème grave doit être signalé directement aux responsables [email protected].

Marque déposée

Apache Kafka est une marque déposée ou une marque commerciale d'Apache Software Foundation aux États-Unis et/ou dans d'autres pays. Tous les noms de produits et de services utilisés sur cette page sont uniquement à des fins d'identification et n'impliquent pas une approbation.

Crédits

Klaw (anciennement Kafkawize) est maintenu par les développeurs open source Aiven.

Les contributeurs récents sont répertoriés sur la page du projet GitHub, https://github.com/aiven/klaw/graphs/contributors

Copyright (c) 2024 Aiven Oy et contributeurs du projet klaw.