klaw

Klaw·

Klaw es totalmente de código abierto. ?

Klaw es un portal/herramienta de gobernanza/gestión de temas de Apache Kafka® de autoservicio. Es una aplicación web que automatiza el proceso de creación y navegación de temas, ACL, esquemas avro y conectores de Apache Kafka mediante la introducción de roles/autorizaciones a los usuarios de varios equipos de una organización.

Con varias descargas cada semana, muchas más empresas que no adoptaron una solución pueden dejar de administrar las configuraciones de Apache Kafka en hojas de Excel, confluence, páginas wiki, git, etc.

Construido con

• Interfaz de usuario Bootstrap, Angular, Javascript, HTML, CSS
• Maven - Gestión de dependencias
  • Un contenedor maven, mvnw, está incluido en Klaw Git Repo
• Java (Jdk 17, 21), Spring boot 3, seguridad Spring, SQL, cliente de administración Apache Kafka
• Hacer

Nueva interfaz de usuario de reacción

No es necesario, pero para obtener la experiencia más reciente, recomendamos crear también la interfaz de usuario de React. El último:

• pnpm (>=9.0.0 <10.0.0)
• nodejs (>=20.0.0 <21.0.0)

Pre-20 de agosto de 2024

• pnpm (>=8.0.0 <9.0.0)
• nodejs (>=18.0.0 <19.0.0)

Si tiene dudas sobre la versión que necesita localmente, puede ver la información aquí en motores.

Formato

El formateo puede ser complicado, por lo que para mantener un formato de código Java consistente en todo momento utilizamos el complemento impecable de Maven. Ejecute el siguiente comando para formatear los cambios de código.

• mvn impecable: aplicar

Versionado

Para conocer las versiones disponibles, consulte las etiquetas en este repositorio.

Arquitectura:

Características:

• Temas (aprobación): Crear, Actualizar, Eliminar, Promocionar

  • La interfaz de usuario de React ahora está habilitada de forma predeterminada en la configuración. Si los recursos basados ​​en reacción ya están creados, la nueva interfaz de usuario debería ser visible.
  • React UI: nueva apariencia para explorar temas, crear solicitud de tema, solicitud de Acl, solicitud de esquema y solicitud de conector
  • React UI: nueva apariencia para aprobar temas, ACL, esquemas y conectores
  • React UI: nueva apariencia para ver las 'Solicitudes de mi equipo' para temas, ACL, esquemas y conectores
  • Las solicitudes de tema ahora se pueden editar después de su creación y, por lo tanto, puede modificarlas para corregir cualquier error.

• Acls (aprobación): crear, eliminar

  • Reaccionar interfaz de usuario: crear solicitud de Acl
  • Las cuentas de servicio creadas para ACL se asignan al equipo creador

• Conectores (aprobación): Crear

  • Se puede crear cualquier conector siempre que las bibliotecas de complementos necesarias estén instaladas en el servidor.
  • La configuración del conector ahora cifra la configuración de la contraseña por motivos de seguridad.

• Esquemas Avro (aprobación): Crear

  • Ver todas las versiones disponibles de las materias por tema
  • Reaccionar UI - Crear solicitud de esquema
  • Validación previa de la compatibilidad de esquemas en la creación de solicitudes de esquemas

• Descripción general del tema:

  • React UI ahora proporciona una descripción general del tema rediseñada y todas sus capacidades para mejorar la experiencia del usuario.
  • Configuración de tema
  • Promover
  • Suscripciones literales y prefijadas
  • Documentación del tema
  • Compensaciones/retraso del consumidor
  • Ver contenidos del tema

• Ver solicitudes de temas creadas, completadas y rechazadas

• Ver las solicitudes de Acl creadas, completadas y rechazadas

• Ver las solicitudes de Connector creadas, completadas y rechazadas

• Ver las solicitudes de esquema Avro creadas, completadas y rechazadas

• Sincronización (migración) desde y hacia clusters de Apache Kafka (Temas, Acls, Esquemas y Conectores)

• Conciliación y notificaciones por correo electrónico sobre diferencias entre Klaw y Clusters

• Restaurar configuración (temas, acls)

• Acceso

  • Integración de Azure/directorio activo
  • Inicio de sesión único (OAuth2)
  • Basado en base de datos

• Configurar clústeres y entornos

  • Se pueden crear clústeres conectándose a clústeres de Apache Kafka. (Se debe configurar la API de administración de clústeres)
  • Los entornos son contenedores de clústeres que imponen configuraciones flexibles como prefijos, sufijos, etc.
  • Kafka Rest Proxy se puede agregar al clúster para almacenar la información de la URL del proxy restante.

• Usuarios, equipos y autorizaciones

  • Usuarios configurables, equipos.
  • Más de 35 permisos
  • Roles configurables (los roles se pueden extraer de AD para autorización)
  • Posibilidad de cambiar entre diferentes equipos.

• Convenciones de nomenclatura de temas

  • Aplicar prefijos, sufijos y/o expresiones regulares por entorno

• Informe de Excel (para su equipo y para todos los equipos, según el rol)

  • Temas por grupo (para equipos)
  • Particiones por clúster
  • Temas generales en todos los grupos.
  • Acls por cluster (para equipos)
  • Acls de productor (para equipos)
  • Acls del consumidor (para equipos)
  • Grupos de consumidores de todos los entornos.
  • Solicitudes por día

• Analítica

  • Ver gráficos de temas, particiones, ACL y solicitudes.

• arrendamiento múltiple

  • Cada inquilino puede gestionar sus temas con sus propios equipos de forma aislada.
  • Cada inquilino puede tener su propio conjunto de entornos Kafka, y los usuarios de un inquilino no pueden ver ni acceder a temas, ACL ni a ninguno de otros inquilinos.
  • Proporciona un aislamiento evitando cualquier brecha de seguridad.

• Conectividad Apache Kafka

  • TEXTO PLANO, SSL, SASL

• Auditoría

  • Todas las solicitudes de temas, acl, esquemas y conectores

• Notificaciones por correo electrónico cuando

  • las solicitudes se crean, aprueban y rechazan
  • los usuarios son creados, aprobados

• Asistente de ayuda para configurar Klaw

Ver características de Klaw en documentos

Documentación

• Documentación de usuario: https://klaw-project.io/docs
• Documentación técnica para contribuyentes:
  • documentación general: ./docs
  • documentación específica para la aplicación React coral : ./coral/docs
• Contribuya a mejorar la documentación de Klaw aquí.

Preguntas y respuestas

Alentamos a todos a hacer preguntas; si tienen alguna pregunta, definitivamente alguien más también la tiene.

• Pregunta en el foro de la Comunidad Klaw
• Leer en el foro de la comunidad Klaw
• Pregunte y lea en las discusiones de Klaw GitHub

El equipo de Klaw publicará preguntas y respuestas en ambos foros. El foro de soporte comunitario de Klaw, alojado y respaldado directamente por Aiven, tiene más visibilidad para otras partes interesadas, por lo que recomendamos que se hagan preguntas allí. Responderemos y responderemos preguntas tanto en las discusiones de GitHub como en el Foro de la comunidad.

Instalar

Manual

Utilice el contenedor Maven

• ./mvnw instalación limpia

Usa tu propio Maven

• instalación limpia de mvn

Paso opcional: para los nuevos activos de React UI, asegúrese de que pnpm esté preinstalado, lo cual es necesario para crear activos de coral.

Construye dos artefactos core/target/klaw-.jar y cluster-api/target/cluster-api-.jar

y siga los pasos definidos en https://klaw-project.io/docs o ejecute los binarios como se muestra a continuación

java -jar núcleo/objetivo/klaw-.jar

java -jar cluster-api/target/cluster-api-.jar --spring.config.location=cluster-api/target/classes/application.properties

O ejecute bin/run-klaw.sh para Mac/Linux

con make

1. Clona este repositorio que contiene dos módulos maven (core y cluster-api): git clone [email protected]:aiven/klaw.git
2. Ejecute make para instalar dependencias y configurar Klaw Core y Klaw-Cluster-Api
3. [Opcional] edite cualquier configuración usando make edit-core-config para Klaw Core o make edit-cluster-api-config para Klaw-Cluster-API
4. Para ejecutar, puede usar make run-core y make run-cluster-api en diferentes ventanas de terminal o puede ejecutar make -j2 run-core run-cluster-api para ejecutar ambos (NOTA: esto combinará la salida y dificultará la depuración). )

con docker

DockerHub

Cada versión oficial está disponible en Docker en los dos repositorios. La página de klaw-core docker hub contiene un archivo docker-compose de ejemplo que ayudará a descargar e implementar Klaw. La API del clúster también se puede encontrar por separado en Docker Hub.

En la zona

Este proyecto también tiene la capacidad de crear e implementar imágenes de Docker locales utilizando scripts proporcionados en Klaw/docker-scripts.

Licencia

Klaw tiene la licencia Apache, versión 2.0. El texto completo de la licencia está disponible en el archivo LICENSE.md.

Tenga en cuenta que el proyecto no requiere explícitamente un CLA (Acuerdo de licencia de colaborador) de sus contribuyentes.

Contacto

Los informes de errores y los parches son bienvenidos; publíquelos como problemas de GitHub y solicitudes de extracción en https://github.com/aiven/klaw. Cualquier posible vulnerabilidad u otros problemas graves deben informarse directamente a los mantenedores [email protected].

Marca

Apache Kafka es una marca registrada o una marca comercial de Apache Software Foundation en los Estados Unidos y/u otros países. Todos los nombres de productos y servicios utilizados en esta página tienen fines de identificación únicamente y no implican respaldo.

Créditos

Klaw (anteriormente Kafkawize) es mantenido por los desarrolladores de código abierto de Aiven.

Los contribuyentes recientes se enumeran en la página del proyecto GitHub, https://github.com/aiven/klaw/graphs/contributors

Copyright (c) 2024 Aiven Oy y colaboradores del proyecto klaw.