kowl

Kowl — веб-интерфейс для Apache Kafka

---

Этот форк основан на некоторых коммитах, сделанных непосредственно перед изменением лицензии с Apache 2.0 на Redpanda Business Source License 1.1 / Redpanda Community License.

Возможности добавлять не буду, просто хочу сохранить любимого Коула.

---

Kowl (ранее известное как Kafka Owl) — это веб-приложение, которое помогает вам исследовать сообщения в вашем кластере Apache Kafka и получать более полное представление о том, что на самом деле происходит в вашем кластере Kafka, наиболее удобным способом:

Функции

• Средство просмотра сообщений. Просматривайте сообщения своих тем в нашем средстве просмотра сообщений с помощью специальных запросов и динамических фильтров. Найдите любое сообщение, которое хотите, используя функции JavaScript для фильтрации сообщений. Поддерживаемые кодировки: JSON, Avro, Protobuf, XML, MessagePack, Text и Binary (шестнадцатеричный вид). Используемая кодировка (кроме Protobuf) распознается автоматически.
• Группы потребителей: перечислите все свои активные группы потребителей вместе с их активными смещениями групп, отредактируйте смещения групп (по группе, теме или разделу) или удалите группу потребителей.
• Обзор темы: просмотрите список тем Kafka, проверьте их конфигурацию, использование пространства, перечислите всех потребителей, которые используют одну тему, или просмотрите детали раздела (например, низкие и высокие отметки, количество сообщений и т. д.), встраивание темы. документация из репозитория git и многое другое.
• Обзор кластера: список ACL, доступных брокеров, использование ими пространства, идентификатор стойки и другую информацию, чтобы получить общий обзор ваших брокеров в вашем кластере.
• Реестр схем: перечислите все схемы Avro, Protobuf или JSON в вашем реестре схем.
• Kafka Connect: управляйте соединителями из нескольких кластеров подключений, исправляйте конфигурации, просматривайте их текущее состояние или перезапускайте задачи.

Начиная

Предварительные условия

• Возможность подключения к кластеру Kafka (v1.0.0+)
• По крайней мере одно приложение OAuth для единого входа (только для бизнеса Kowl).
• Подключение к Интернету для проверки лицензии (только для бизнеса Kowl)

Установка

Мы предлагаем готовые образы докеров для Kowl (Бизнес), диаграмму Helm и модуль Terraform, чтобы сделать установку максимально комфортной для вас. Пожалуйста, ознакомьтесь с нашей специальной документацией по установке.

Быстрый старт

Вы просто хотите протестировать Kowl на одном из ваших кластеров Kafka, не тратя слишком много времени на настройку тестирования? Вот несколько команд Docker, которые позволяют запускать его локально в существующем кластере Kafka:

Кафка работает локально

Поскольку Kowl работает в собственном контейнере (который имеет собственную сетевую область действия), нам необходимо использовать host.docker.internal в качестве сервера начальной загрузки. Этот DNS преобразуется в IP-адрес хост-системы. Однако, поскольку брокеры отправляют список DNS всех брокеров при подключении клиента, вы должны убедиться, что ваш объявленный прослушиватель подключен соответствующим образом, например: PLAINTEXT://host.docker.internal:9092

docker run -p 8080:8080 -e KAFKA_BROKERS=host.docker.internal:9092 quay.io/cloudhut/kowl:master

Docker поддерживает параметр --network=host только в Linux. Таким образом, пользователи Linux используют localhost:9092 в качестве объявленного прослушивателя и вместо этого используют пространство имен хост-сети. Затем Kowl будет запущен так же, как и на хост-компьютере.

docker run --network=host -p 8080:8080 -e KAFKA_BROKERS=localhost:9092 quay.io/cloudhut/kowl:master

Kafka работает удаленно

Защищено с помощью SASL_SSL и доверенных сертификатов (например, Confluent Cloud):

docker run -p 8080:8080 -e KAFKA_BROKERS=pkc-4r000.europe-west1.gcp.confluent.cloud:9092 -e KAFKA_TLS_ENABLED=true -e KAFKA_SASL_ENABLED=true -e KAFKA_SASL_USERNAME=xxx -e KAFKA_SASL_PASSWORD=xxx quay.io/cloudhut/kowl:master

У меня нет работающего кластера Kafka для тестирования.

Мы поддерживаем файл docker-compose, который запускает Zookeeper, Kafka и Kowl: /docs/local.

Спонсоры

Компании, которые используют Kowl

• REWE Digital [https://www.rewe-digital.com/]
• Данные Redpanda [https://redpanda.com/]
• OPT-NC (Управление почт и телекоммуникаций Новой Каледонии) [https://office.opt.nc/]

Лицензия

Kowl распространяется по лицензии Apache 2.0.