searchzin

ค้นหาซิน

การใช้เครื่องมือค้นหาอย่างง่าย

แรงจูงใจ

วัตถุประสงค์ในการศึกษา ส่วนใหญ่เพื่อทำความเข้าใจรายละเอียดการใช้งานของเครื่องมือค้นหา ข้อดีข้อเสียของประสิทธิภาพ และโครงสร้าง

คำอธิบาย

แนวคิดคือการสร้างแอปพลิเคชัน isomorphic จาก UI ไปยังระบบฐานข้อมูล

การใช้งาน

แอปพลิเคชันสามารถใช้งานได้โดยใช้นักเทียบท่าหรือไบนารีที่เผยแพร่ใน GitHub

 ./searchzin -c <path-to-config>.yml

หลังจากนั้นคุณสามารถดู http://localhost:8080 เพื่อดูหน้าการค้นหา

การกำหนดค่า

การกำหนดค่าสามารถทำได้โดยไฟล์การกำหนดค่าที่อยู่ใน /etc/searchzin/config.yml หรือระบุคีย์การกำหนดค่าในรูปแบบ -C key=value รูปแบบที่สองจะแทนที่รูปแบบแรก

ค่าเริ่มต้นของการกำหนดค่า:

 port : 8080 # Service port
path :
  log : /var/log/searchzin # Log directory
  data : /var/lib/searchzin # Data directory 

การพัฒนา

โครงสร้างโปรเจ็กต์ทั้งหมดสร้างขึ้นใน golang โดยใช้เฟรมเวิร์ก gin

การพึ่งพาได้รับการจัดการโดยใช้ dep

Toolchain ของโปรเจ็กต์ส่วนใหญ่ได้รับการจัดการโดย Makefile เป้าหมายที่สำคัญคือ:

• install : ติดตั้งการพึ่งพาที่จำเป็นและ git hooks
• readme : ดำเนินการรวมไฟล์ README.md
• lint : ทำการขลิบและจัดรูปแบบของโค้ด
• test : คอมไพล์และรันการทดสอบหน่วย
• build : สร้างโฟลเดอร์ที่สามารถแจกจ่ายได้ linux ใน dist
• run : รันโค้ดโดยใช้ go run
• run-dev : สร้างและรันคอนเทนเนอร์นักเทียบท่า
• release : สร้างอิมเมจ docker release
• publish : เผยแพร่อิมเมจนักเทียบท่าบน dockerhub โดยใช้เนื้อหาของไฟล์ VERSION เป็นเวอร์ชัน
• publish-latest : เผยแพร่อิมเมจนักเทียบท่าบน dockerhub ด้วยแท็ก latest
• ( TODO ) watch : ดำเนินการ lint และ test การแก้ไขไฟล์
• ( TODO ) func-test : ทำการทดสอบการทำงานภายในโฟลเดอร์ features

สถาปัตยกรรม

เครื่องมือค้นหานี้มีองค์ประกอบหลัก 6 ส่วน:

• ฐานข้อมูลเอกสาร
• ฐานข้อมูลดัชนี
• บริการจัดทำดัชนี
• ตัวดำเนินการแบบสอบถาม
• ผู้วางแผนแบบสอบถาม
• ตัวแยกวิเคราะห์แบบสอบถาม

แต่ละองค์ประกอบมีความรับผิดชอบที่ชัดเจนในระบบ และองค์ประกอบทั้งหมดทำงานร่วมกันเพื่อตอบสนองต่อข้อซักถามและคำขอจัดทำดัชนีเอกสาร

ฐานข้อมูลเอกสาร

มีหน้าที่จัดเก็บและมอบรหัสให้กับเอกสารที่สร้างขึ้นใหม่ ข้อจำกัดคือ:

• จัดเก็บเอกสารและรหัส id
• เปิดใช้งานการสร้าง id โดยไม่ขัดแย้งกันเพื่อความคงอยู่
• อัลกอริธึมการจัดเก็บเอกสารที่มีประสิทธิภาพ ได้รับการปรับให้เหมาะสมเพื่อการอ่านที่รวดเร็วและการเขียนที่รวดเร็วเพียงพอ
• ตระหนักถึงหน่วยเก็บข้อมูลพื้นฐานไม่ว่าจะเป็น ssd หรือ hdd
• ตระหนักถึงขนาดเพจของ Linux และกลยุทธ์การแคชไฟล์

ฐานข้อมูลดัชนี

เก็บดัชนีย้อนกลับของ "คำศัพท์" และเอกสาร

• จัดเก็บ terms เพื่อจัดทำเอกสารความสัมพันธ์
• เปิดใช้งานกลยุทธ์การจัดการ key สำหรับข้อความค้นหาที่มีการประมาณคำหลัก
• ปรับให้เหมาะสมสำหรับคีย์ความหนาแน่นต่ำที่มีเอกสารจำนวนมาก
• ตระหนักถึงขนาดเพจของ Linux เพื่อให้พอดีและโหลดในหน่วยความจำได้อย่างง่ายดาย

บริการจัดทำดัชนี

เมื่อได้รับเอกสารใหม่จะเข้าใจและบันทึกทั้งในฐานข้อมูลดัชนีและฐานข้อมูลเอกสาร

• รู้ว่าฟิลด์ใดที่มีการจัดทำดัชนีและอย่างไร
• รู้โครงสร้างเอกสารและสามารถเกี่ยวข้องกับดัชนีได้

ตัวแยกวิเคราะห์แบบสอบถาม

แยกวิเคราะห์อินพุตของผู้ใช้และแปลงเป็นแผนการสืบค้นโดยใช้โครงสร้างข้อมูลแบบต้นไม้

• แยกวิเคราะห์สตริงที่ผู้ใช้กำหนดและแปลงเป็นกราฟ
• DSL จะคล้ายกับของ lucene 's
• รองรับการสืบค้น ANSI SQL
• รองรับการค้นหาคีย์เอกสาร

ผู้วางแผนแบบสอบถาม

ด้วยแผนผังแบบสอบถาม ให้ปรับให้เหมาะสมโดยคำนึงถึงข้อจำกัดและสภาพแวดล้อมที่จะดำเนินการ

• ลบผลลัพธ์ที่ซ้ำซ้อน ทำให้พร้อมใช้งานในทุกขั้นตอนที่ต้องการ
• ตระหนักถึงขนาดดัชนีเพื่อเรียงลำดับว่าการดึงข้อมูลที่มีประสิทธิภาพใดจะดำเนินการก่อน
• ส่งคืนรายการลำดับของโหนดแบบสอบถามที่จะดำเนินการ

ตัวดำเนินการแบบสอบถาม

หลังจากมีแผนที่มีโครงสร้างแล้วแบบสอบถามจะดึงข้อมูลที่มีประสิทธิภาพจากฐานข้อมูล index ผู้ดำเนินการจะดำเนินการขั้นตอนนี้

• รู้วิธีสืบค้นฐานข้อมูลดัชนี
• รวมผลลัพธ์ที่ได้รับตามลำดับ
• ดึงเอกสาร
• เก็บผลลัพธ์การสืบค้นในไฟล์ที่จะสืบค้นในภายหลังโดยใช้ที่เก็บข้อมูล "เย็น"

ภาษาแบบสอบถาม

ภาษาคิวรีนี้มีพื้นฐานมาจาก Lucene's เป็นหลัก เพื่อลดความซับซ้อนของการออกแบบและทำความเข้าใจถึงข้อดีข้อเสียที่เกิดขึ้น

สถานการณ์การทดสอบ

สถานการณ์การทดสอบปัจจุบันที่จะใช้คือการจัดทำดัชนีพอดแคสต์ตามชื่อ เนื้อหา และแท็ก

การใช้งานพื้นฐานสามารถพบได้ใน searchzin-example

ใบอนุญาต

searchzin มีให้บริการภายใต้ใบอนุญาต MIT