multihop rag

เชื่อมต่อกับฉันบน LinkedIn หากคุณมีโครงการที่น่าสนใจ/ความสนใจร่วมกัน https://www.linkedin.com/in/mayankladdha31/

การปรับเปลี่ยนเล็กน้อยในการประมวลผลแบบสอบถามล่วงหน้าและการปรับแต่งที่รวดเร็วสามารถปรับปรุงผลลัพธ์การดึงและผลลัพธ์สุดท้ายได้: MultiHop-Rag เป็นชุดข้อมูล QA เพื่อประเมินการดึงและการใช้เหตุผลในเอกสารที่มีข้อมูลเมตาในท่อ #RAG มันมีการสืบค้นพร้อมหลักฐานสำหรับการสืบค้นแต่ละครั้งที่แจกจ่ายผ่านเอกสาร 2 ถึง 4 ฉบับ ก่อนอื่นฉันลองการดึงข้อมูลง่ายๆ สำหรับประเภทการอนุมาน _Query ผลลัพธ์ไม่ได้เลวร้าย แต่สำหรับแบบสอบถามประเภทอื่น ๆ (การเปรียบเทียบและชั่วคราว) ผลลัพธ์ค่อนข้างแย่ จากนั้นฉันพยายามดูว่าเราสามารถปรับปรุงประเภทการสืบค้นอื่น ๆ ได้ด้วยการประมวลผลแบบสอบถามเล็กน้อย (พยายามที่จะรับชิ้นส่วนที่เกี่ยวข้องมากขึ้นโดยการแบ่งคำถามเป็นวลีที่เกี่ยวข้อง) และโดยการปรับแต่งพรอมต์เล็กน้อย

ฉันสังเกตเห็นการปรับปรุงที่โดดเด่น ในขณะที่การตอบกลับบางอย่างไม่ถูกต้องการปรับปรุงโดยรวมจากเวอร์ชันก่อนหน้านั้นมีความสำคัญ เราสามารถลองปรับแต่งพรอมต์ใช้โมเดลที่ดีกว่า (GPT4) การทดลองด้วยกลยุทธ์ที่แตกต่างกัน (ใช้ประโยชน์จากข้อมูลเมตาที่ดีขึ้นลองวิธี chunking ที่แตกต่างกัน) อาจสร้างกราฟความรู้ เป้าหมายของฉันคือไม่ได้รับความแม่นยำที่ดีที่สุด แต่เพื่อดูว่าการปรับเปลี่ยนเล็กน้อยในการประมวลผลแบบสอบถามล่วงหน้าและการปรับแต่งที่รวดเร็วสามารถปรับปรุงผลลัพธ์การดึงและผลลัพธ์สุดท้ายได้หรือไม่ และมันก็ทำ