Kowl - เว็บ UI สำหรับ Apache Kafka

ทางแยกนี้ขึ้นอยู่กับการกระทำบางอย่างก่อนที่ใบอนุญาตจะเปลี่ยนจาก Apache 2.0 เป็น Redpanda Business Source License 1.1 / Redpanda Community License

ฉันอาจจะไม่เพิ่มคุณสมบัติใดๆ ฉันแค่อยากจะรักษา Kowl ที่รักของฉันไว้

Kowl (เดิมชื่อ Kafka Owl) เป็นเว็บแอปพลิเคชันที่ช่วยให้คุณสำรวจข้อความในคลัสเตอร์ Apache Kafka และรับข้อมูลเชิงลึกที่ดีขึ้นเกี่ยวกับสิ่งที่เกิดขึ้นจริงในคลัสเตอร์ Kafka ด้วยวิธีที่สะดวกสบายที่สุด:

ดูตัวอย่าง

คุณสมบัติ

โปรแกรมดูข้อความ: สำรวจข้อความในหัวข้อของคุณในโปรแกรมดูข้อความของเราผ่านการสืบค้นเฉพาะกิจและตัวกรองแบบไดนามิก ค้นหาข้อความที่คุณต้องการโดยใช้ฟังก์ชัน JavaScript เพื่อกรองข้อความ การเข้ารหัสที่รองรับ ได้แก่ JSON, Avro, Protobuf, XML, MessagePack, Text และ Binary (มุมมองฐานสิบหก) การเข้ารหัสที่ใช้ (ยกเว้น Protobuf) จะถูกจดจำโดยอัตโนมัติ
กลุ่มผู้บริโภค: แสดงรายการกลุ่มผู้บริโภคที่ใช้งานอยู่ทั้งหมดของคุณพร้อมกับออฟเซ็ตกลุ่มที่ใช้งานอยู่ แก้ไขออฟเซ็ตกลุ่ม (ตามกลุ่ม หัวข้อ หรือพาร์ติชัน) หรือลบกลุ่มผู้บริโภค
ภาพรวมหัวข้อ: เรียกดูรายการหัวข้อ Kafka ของคุณ ตรวจสอบการกำหนดค่า การใช้พื้นที่ รายชื่อผู้บริโภคทั้งหมดที่ใช้งานหัวข้อเดียวหรือดูรายละเอียดพาร์ติชัน (เช่น เครื่องหมายน้ำต่ำและสูง จำนวนข้อความ ... ) หัวข้อที่ฝัง เอกสารจากที่เก็บ git และอีกมากมาย
ภาพรวมคลัสเตอร์: แสดงรายการ ACL, นายหน้าที่มีอยู่, การใช้พื้นที่, รหัสแร็ค และข้อมูลอื่นๆ เพื่อดูภาพรวมระดับสูงของนายหน้าในคลัสเตอร์ของคุณ
รีจิสทรีสคีมา: แสดงรายการสคีมา Avro, Protobuf หรือ JSON ทั้งหมดภายในรีจิสทรีสคีมาของคุณ
Kafka Connect: จัดการตัวเชื่อมต่อจากคลัสเตอร์การเชื่อมต่อหลายรายการ การกำหนดค่าแพตช์ ดูสถานะปัจจุบัน หรือรีสตาร์ทงาน

เริ่มต้นใช้งาน

ข้อกำหนดเบื้องต้น

การเชื่อมต่อคลัสเตอร์ Kafka (v1.0.0+)
แอป OAuth อย่างน้อย 1 แอปสำหรับ SSO (ธุรกิจ Kowl เท่านั้น)
การเชื่อมต่ออินเทอร์เน็ตเพื่อตรวจสอบใบอนุญาต (ธุรกิจ Kowl เท่านั้น)

กำลังติดตั้ง

เรานำเสนออิมเมจนักเทียบท่าที่สร้างไว้ล่วงหน้าสำหรับ Kowl (ธุรกิจ) แผนภูมิ Helm และโมดูล Terraform เพื่อให้การติดตั้งสะดวกสบายที่สุดเท่าที่จะเป็นไปได้สำหรับคุณ โปรดดูเอกสารการติดตั้งเฉพาะของเรา

เริ่มต้นอย่างรวดเร็ว

คุณเพียงต้องการทดสอบ Kowl กับคลัสเตอร์ Kafka ของคุณโดยไม่ต้องใช้เวลาในการตั้งค่าการทดสอบมากเกินไปหรือไม่? ต่อไปนี้คือคำสั่งนักเทียบท่าบางส่วนที่อนุญาตให้คุณรันในเครื่องกับคลัสเตอร์ Kafka ที่มีอยู่:

Kafka กำลังทำงานในพื้นที่

เนื่องจาก Kowl ทำงานในคอนเทนเนอร์ของตัวเอง (ซึ่งมีขอบเขตเครือข่ายของตัวเอง) เราจึงต้องใช้ host.docker.internal เป็นเซิร์ฟเวอร์บูตสแตรป DNS นั้นแก้ไขเป็นที่อยู่ IP ของระบบโฮสต์ อย่างไรก็ตาม เนื่องจากนายหน้าส่งรายชื่อ DNS ของนายหน้าทั้งหมดเมื่อไคลเอนต์เชื่อมต่อแล้ว คุณต้องแน่ใจว่าผู้ฟังที่โฆษณาของคุณเชื่อมต่อตามนั้น เช่น: PLAINTEXT://host.docker.internal:9092

docker run -p 8080:8080 -e KAFKA_BROKERS=host.docker.internal:9092 quay.io/cloudhut/kowl:master

นักเทียบท่ารองรับตัวเลือก --network=host บน Linux เท่านั้น ดังนั้นผู้ใช้ Linux จึงใช้ localhost:9092 เป็นผู้ฟังที่โฆษณา และใช้เนมสเปซเครือข่ายโฮสต์แทน จากนั้น Kowl จะถูกรันเหมือนกับที่มันจะถูกดำเนินการบนเครื่องโฮสต์

docker run --network=host -p 8080:8080 -e KAFKA_BROKERS=localhost:9092 quay.io/cloudhut/kowl:master

คาฟคากำลังทำงานจากระยะไกล

ป้องกันผ่าน SASL_SSL และใบรับรองที่เชื่อถือได้ (เช่น Confluent Cloud):

docker run -p 8080:8080 -e KAFKA_BROKERS=pkc-4r000.europe-west1.gcp.confluent.cloud:9092 -e KAFKA_TLS_ENABLED=true -e KAFKA_SASL_ENABLED=true -e KAFKA_SASL_USERNAME=xxx -e KAFKA_SASL_PASSWORD=xxx quay.io/cloudhut/kowl:master

ฉันไม่มีคลัสเตอร์ Kafka ที่ทำงานอยู่ให้ทดสอบ

เราดูแลรักษาไฟล์นักเทียบท่าที่เรียกใช้ Zookeeper, Kafka และ Kowl: /docs/local

สปอนเซอร์

บริษัทที่ใช้ Kowl

REWE ดิจิตอล [https://www.rewe-digital.com/]
ข้อมูลเรดแพนด้า [https://redpanda.com/]
OPT-NC (Office des Postes และTélécommunications de Nouvelle-Calédonie) [https://office.opt.nc/]