Insurance Query engine

รุ่นที่ใช้คือ "BAAI/bge-base-en-v1.5" จากหน้ากอด

1. การตั้งค่า Qdrant ด้วย Docker

หากต้องการรัน Qdrant ในคอนเทนเนอร์ Docker ให้ทำตามขั้นตอนเหล่านี้:

ดึงอิมเมจ Qdrant Docker:

docker pull qdrant/qdrant

รันคอนเทนเนอร์ Qdrant:

docker run -p 6333:6333 qdrant/qdrant

2. การติดตั้งไลบรารีที่จำเป็น

ก่อนที่จะรันสคริปต์ใดๆ ตรวจสอบให้แน่ใจว่าได้ติดตั้งไลบรารี Python ที่จำเป็นทั้งหมดแล้ว:

pip install -r requirements.txt

3. การใช้ ingest.py

สคริปต์ ingest.py ประมวลผลเอกสาร PDF insurance_Handbook.pdf สร้างการฝังเวกเตอร์จากข้อความ และจัดเก็บการฝังเหล่านี้ในฐานข้อมูลเวกเตอร์ Qdrant

วิธีการทำงาน: โหลด PDF: อ่านเนื้อหาของไฟล์ PDF ที่ระบุ แยกข้อความ: แบ่งข้อความออกเป็นส่วนๆ ที่สามารถจัดการได้เพื่อสร้างการฝัง แต่ละส่วนอาจทับซ้อนกันเล็กน้อยเพื่อรักษาบริบท สร้างการฝัง: แปลงแต่ละส่วนข้อความให้เป็นเวกเตอร์ที่ฝังโดยใช้โมเดลที่ได้รับการฝึกล่วงหน้า จัดเก็บใน Qdrant: จัดเก็บการฝังที่สร้างขึ้นและข้อความที่เกี่ยวข้องในฐานข้อมูลเวกเตอร์ Qdrant การใช้งาน: รันคำสั่งต่อไปนี้เพื่อประมวลผลและนำเข้าข้อมูลไปยัง Qdrant:

python ingest.py 

4. การใช้งาน app.py

สคริปต์ app.py ใช้เพื่อสืบค้นฐานข้อมูลเวกเตอร์ Qdrant เพื่อดึงเอกสารตามแบบสอบถามที่ผู้ใช้ระบุ

วิธีการทำงาน: การฝังแบบสอบถาม: แปลงแบบสอบถามอินพุตให้เป็นเวกเตอร์ที่ฝังโดยใช้โมเดลเดียวกับที่ใช้สำหรับการฝังเอกสาร การค้นหาความคล้ายคลึงกัน: เปรียบเทียบการสืบค้นที่ฝังกับการฝังที่จัดเก็บไว้ใน Qdrant เพื่อค้นหาเอกสารที่คล้ายกันมากที่สุด การส่งคืนผลลัพธ์: ดึงและแสดงเอกสารที่ตรงกันสูงสุดโดยพิจารณาจากคะแนนความคล้ายคลึงกัน การใช้งาน: รันคำสั่งต่อไปนี้เพื่อเริ่มการสืบค้น:

python app.py

ตรวจสอบให้แน่ใจว่าคอนเทนเนอร์ Qdrant ทำงานอยู่ และข้อมูลได้รับการนำเข้าโดยใช้สคริปต์ ingest.py