Explore RAG

เทคนิคการดึงข้อมูล RAG

โปรเจ็กต์นี้สาธิตเทคนิคการดึงข้อมูลต่างๆ สำหรับการดึงเอกสารโดยใช้ Python เทคนิคที่นำมาใช้ ได้แก่ HyDe, Basic, Reciprocal Rank Fusion (RRF), Fusion Returnal และ Sub Query Decomposition (SQD) โปรเจ็กต์นี้ใช้ Streamlit สำหรับอินเทอร์เฟซผู้ใช้และไลบรารีต่างๆ สำหรับการประมวลผลและการเรียกค้นเอกสาร

สารบัญ

• การติดตั้ง
• การใช้งาน
• เทคนิคการดึงข้อมูล
  • ไฮด์
  • ขั้นพื้นฐาน
  • อาร์อาร์เอฟ
  • ฟิวชั่น
  • การสลายตัวของแบบสอบถามย่อย
• มีส่วนร่วม
• ใบอนุญาต

การติดตั้ง

1. โคลนที่เก็บ:

   git clone https://github.com/yourusername/yourrepository.git
   cd yourrepository

2. ติดตั้งการพึ่งพาที่จำเป็น:

   pip install -r requirements.txt

การใช้งาน

1. เรียกใช้แอปพลิเคชัน Streamlit:

   streamlit run app.py

2. อัปโหลดไฟล์ PDF โดยใช้แถบด้านข้าง

3. เลือกเทคนิคการดึงข้อมูลจากแถบด้านข้าง

4. ป้อนแบบสอบถามในกล่องป้อนข้อความและดูเอกสารที่ดึงมา

เทคนิคการดึงข้อมูล

ไฮด์

การดึงข้อมูล HyDe (Hypothetical Document) จะสร้างเอกสารสมมุติตามแบบสอบถามและดึงเอกสารที่คล้ายกัน

ขั้นพื้นฐาน

การเรียกค้นขั้นพื้นฐานใช้การค้นหาความคล้ายคลึงกันอย่างง่ายเพื่อดึงเอกสารตามแบบสอบถาม

อาร์อาร์เอฟ

Reciprocal Rank Fusion (RRF) รวมผลลัพธ์ของอัลกอริธึมการดึงข้อมูลหลายรายการเพื่อปรับปรุงประสิทธิภาพการดึงข้อมูลโดยรวม

ฟิวชั่น

การดึงข้อมูลแบบฟิวชั่นจะรวมการค้นหาเวกเตอร์และผลการค้นหา BM25 โดยใช้ผลรวมถ่วงน้ำหนักเพื่อดึงเอกสารที่เกี่ยวข้องมากที่สุด

การสลายตัวของแบบสอบถามย่อย

Sub Query Decomposition (SQD) เป็นเทคนิคที่แยกย่อยแบบสอบถามออกเป็นแบบสอบถามย่อยและดึงเอกสารตามแบบสอบถามย่อย

มีส่วนร่วม

ยินดีบริจาค! โปรดเปิดปัญหาหรือส่งคำขอดึงเพื่อปรับปรุงหรือแก้ไขข้อบกพร่อง

ใบอนุญาต

โครงการนี้ได้รับอนุญาตภายใต้ใบอนุญาต MIT ดูไฟล์ LICENSE สำหรับรายละเอียดเพิ่มเติม