protologbeat ดาวน์โหลด - protologbeat ดาวน์โหลดซอร์สโค้ด

protologbeat

หมวดหมู่อื่นๆ

Version 0.2.0

ดาวน์โหลด

Protologbeat

คำอธิบาย

แอปพลิเคชั่นนี้มีวัตถุประสงค์เพื่อทดแทน udplogbeat แม้ว่าจะค่อนข้างคล้ายกัน แต่ก็มีการปรับปรุงบางอย่างและช่วยให้คุณสามารถเริ่มต้นระบบผ่าน UDP หรือ TCP ได้ มันสามารถทำหน้าที่ยอมรับบันทึกข้อความธรรมดาหรือ JSON และยังทำหน้าที่เป็นการแทนที่ปลายทาง syslog อีกด้วย

ตรวจสอบให้แน่ใจว่าโฟลเดอร์นี้อยู่ที่ตำแหน่งต่อไปนี้: ${GOPATH}/github.com/harfordfive

เริ่มต้นใช้งาน Protologbeat

ตัวเลือกการกำหนดค่า

protologbeat.protocol : tcp หรือ udp (ค่าเริ่มต้น: udp)
protologbeat.address : ที่อยู่ที่กระบวนการจะเปิดเผย (Deafult: 127.0.0.1)
protologbeat.port : พอร์ตที่กระบวนการจะฟัง (ค่าเริ่มต้น = 5,000)
protologbeat.max_message_size : ขนาดข้อความสูงสุดที่ยอมรับ (ค่าเริ่มต้น = 4096)
protologbeat.json_mode : เปิดใช้งานการบันทึกเฉพาะข้อความที่จัดรูปแบบ JSON (ค่าเริ่มต้น = false)
protolog.merge_fields_to_root : เมื่อเปิดใช้งาน json_mode จะต้องผสานฟิลด์ที่แยกวิเคราะห์เข้ากับระดับรูท (ค่าเริ่มต้น = เท็จ)
protologbeat.default_es_log_type : ประเภท Elasticsearch ที่จะกำหนดให้กับเหตุการณ์หากไม่มีการระบุเหตุการณ์ (ค่าเริ่มต้น: protologbeat)
protologbeat.enable_syslog_format_only : ค่าบูลีนที่ระบุว่าควรยอมรับเฉพาะข้อความ syslog เท่านั้น (ค่าเริ่มต้น = เท็จ)
protologbeat.enable_gelf : ค่าบูลีนที่ระบุว่ากระบวนการควรอยู่ในโหมดเพื่อยอมรับเฉพาะข้อความที่จัดรูปแบบ GELF หรือไม่
protologbeat.enable_json_validation : ค่าบูลีนที่ระบุว่าควรใช้การตรวจสอบความถูกต้องของสคีมา JSON สำหรับข้อความรูปแบบ json หรือไม่ (ค่าเริ่มต้น = false)
protologbeat.validate_all_json_types : เมื่อเปิดใช้งาน json_mode ระบุว่าทุกประเภทต้องมีการระบุสคีมาหรือไม่ รายการบันทึกประเภทที่ไม่มีสคีมาจะไม่ถูกเผยแพร่ (ค่าเริ่มต้น = เท็จ)
protologbeat.json_schema : แฮชที่ประกอบด้วยประเภท Elasticsearch เป็นคีย์ และพาธไฟล์สคีมาโลคัลสัมบูรณ์เป็นค่า

ตัวอย่างการกำหนดค่า

ต่อไปนี้เป็นตัวอย่างของบล็อกการกำหนดค่าสำหรับส่วน protologbeat

บล็อกการกำหนดค่าสำหรับการบันทึกข้อความธรรมดา
บล็อกการกำหนดค่าที่บังคับใช้สคีมา JSON สำหรับประเภท Elasticsearch ที่ระบุเท่านั้น
บล็อกการกำหนดค่าที่บังคับใช้สคีมา JSON สำหรับ Elasticsearch ทุกประเภท
บล็อกการกำหนดค่าสำหรับการแทนที่ syslog ด้วยประเภท ES แบบกำหนดเองของ 'myapp'

สคีมา JSON สามารถสร้างขึ้นได้โดยอัตโนมัติจากออบเจ็กต์ที่นี่: http://jsonschema.net/ คุณยังสามารถดูสกีมา email_contact และ stock_item เป็นตัวอย่างได้

ข้อควรพิจารณา

หากคุณตั้งใจจะใช้สิ่งนี้แทนการบันทึกแบบดรอปอินด้วย Rsyslog วิธีการนี้จะไม่คงข้อมูลของคุณไว้ที่ไฟล์บนดิสก์
หาก protologbeat หยุดทำงานด้วยเหตุผลใดก็ตาม ข้อความที่ส่งไปยังพอร์ต UDP ที่กำหนดค่าไว้จะไม่ได้รับการประมวลผลหรือส่งไปยังคลัสเตอร์ ELK ของคุณ
หากคุณต้องการการรับประกัน 100% แต่ละข้อความจะถูกส่งอย่างน้อยหนึ่งครั้ง นี่อาจไม่ใช่ทางออกที่ดีที่สุดสำหรับคุณ
หากคุณยอมรับการสูญเสียเหตุการณ์บันทึกที่อาจเกิดขึ้นได้ วิธีนี้อาจเป็นวิธีแก้ปัญหาที่สมเหตุสมผลสำหรับคุณ
แอปพลิเคชันนี้มีไว้สำหรับสถานการณ์ที่แอปพลิเคชันของคุณสามารถบันทึกไปยัง protologbeat ที่ทำงานบนโฮสต์จริงเดียวกันได้ ไม่แนะนำให้ใช้สิ่งนี้สำหรับการบันทึกข้ามเซิร์ฟเวอร์/ข้ามภูมิภาค/ข้ามศูนย์ข้อมูล
วันที่/เวลาปัจจุบันจะถูกเพิ่มลงในแต่ละรายการบันทึกโดยอัตโนมัติเมื่อได้รับจาก protologbeat
เมื่อพิจารณาว่าสิ่งนี้สามารถบันทึกข้อมูลด้วยฟิลด์ประเภทใดก็ได้ ขอแนะนำให้คุณเพิ่มชื่อและประเภทฟิลด์ที่จำเป็นลงในเทมเพลตดัชนี protologbeat.template-es2x.json หรือ protologbeat.template.json ( ES 5.x )

ลูกค้าตัวอย่าง

โปรดดูไดเร็กทอรี _samples/ สำหรับตัวอย่างไคลเอนต์ในภาษาต่างๆ

ความต้องการ

โกลัง 1.7

เริ่มโครงการ

หากต้องการใช้งาน Protologbeat และติดตั้งการขึ้นต่อกันด้วย ให้รันคำสั่งต่อไปนี้:

 make setup

มันจะสร้างประวัติคอมไพล์ที่สะอาดสำหรับแต่ละขั้นตอนหลัก โปรดทราบว่าคุณสามารถเขียนประวัติใหม่ได้ตลอดเวลาหากต้องการก่อนที่จะพุชการเปลี่ยนแปลง

หากต้องการส่ง Protologbeat ในพื้นที่เก็บข้อมูล git ให้รันคำสั่งต่อไปนี้:

 git remote set-url origin https://github.com/harfordfive/protologbeat
git push origin master

สำหรับการพัฒนาเพิ่มเติม โปรดดูคู่มือนักพัฒนา Beat

สร้าง

หากต้องการสร้างไบนารีสำหรับ Protologbeat ให้รันคำสั่งด้านล่าง สิ่งนี้จะสร้างไบนารีในไดเร็กทอรีเดียวกันกับชื่อ protologbeat

 make

หากคุณต้องการสร้างไบนารีสำหรับ OSX, Linux และ/หรือ Windows คุณสามารถเรียกใช้สิ่งต่อไปนี้:

 ./build-bin [TAG_VERSION]

ไบนารีที่ได้ผลลัพธ์จะถูกวางไว้ในไดเร็กทอรี bin/

วิ่ง

หากต้องการรัน Protologbeat โดยเปิดใช้งานเอาต์พุตการดีบัก ให้รัน:

 ./protologbeat -c protologbeat.yml -e -d "*"

ทดสอบ

หากต้องการทดสอบ Protologbeat ให้รันคำสั่งต่อไปนี้:

 make testsuite

หรืออีกทางหนึ่ง:

 make unit-tests
make system-tests
make integration-tests
make coverage-report

รายงานความครอบคลุมการทดสอบในโฟลเดอร์ ./build/coverage/

อัปเดต

แต่ละจังหวะมีเทมเพลตสำหรับการแมปใน elasticsearch และเอกสารประกอบสำหรับฟิลด์ที่ถูกสร้างขึ้นโดยอัตโนมัติตาม etc/fields.yml เพื่อสร้าง etc/protologbeat.template.json และ etc/protologbeat.asciidoc

 make update

การล้างข้อมูล

หากต้องการล้างซอร์สโค้ด Protologbeat ให้รันคำสั่งต่อไปนี้:

 make fmt
make simplify

หากต้องการล้างไดเร็กทอรี build และส่วนที่สร้างขึ้น ให้รัน:

 make clean

โคลน

หากต้องการโคลน Protologbeat จากที่เก็บ git ให้รันคำสั่งต่อไปนี้:

 mkdir -p ${GOPATH}/github.com/harfordfive
cd ${GOPATH}/github.com/harfordfive
git clone https://github.com/harfordfive/protologbeat

สำหรับการพัฒนาเพิ่มเติม โปรดดูคู่มือนักพัฒนา Beat

ทำงานบนนักเทียบท่า

คุณสามารถค้นหารูปภาพ Docker สำหรับจังหวะนี้ได้ที่นี่ โปรดทราบว่าคอนเทนเนอร์เริ่มต้นด้วยการกำหนดค่าพื้นฐานที่รับฟังโปรโตคอล/ที่อยู่/พอร์ตเริ่มต้น และยอมรับข้อความธรรมดา สำหรับการปรับแต่งใดๆ โปรดแก้ไขตัวอย่างการกำหนดค่า protologbeat.full.yml และสร้างไฟล์ Docker ของคุณเองที่จะเขียนทับไฟล์ต้นฉบับ

บรรจุภัณฑ์

กรอบจังหวะมีเครื่องมือในการคอมไพล์และจัดแพคเกจจังหวะของคุณสำหรับแพลตฟอร์มต่างๆ สิ่งนี้ต้องใช้นักเทียบท่าและผู้จำหน่ายตามที่อธิบายไว้ข้างต้น หากต้องการสร้างแพ็คเกจตามจังหวะของคุณ ให้รันคำสั่งต่อไปนี้: