context search engine

เครื่องมือค้นหาข้อความตามบริบทโดยใช้ข้อมูลเวกเตอร์และ FAISS

วัตถุประสงค์หลักของโครงการนี้คือเพื่อแสดงความสามารถในการค้นหาเวกเตอร์โดยจัดให้มีอินเทอร์เฟซที่เป็นมิตรต่อผู้ใช้ซึ่งช่วยให้ผู้ใช้สามารถค้นหาตามบริบทในคลังข้อมูลของเอกสารข้อความได้ ด้วยการใช้ประโยชน์จากพลังของ BERT ของ Hugging Face และ FAISS ของ Facebook เราจะส่งคืนข้อความที่มีความเกี่ยวข้องสูงโดยพิจารณาจากความหมายเชิงความหมายของข้อความค้นหาของผู้ใช้ แทนที่จะเป็นเพียงการจับคู่คำหลักเท่านั้น โครงการนี้ทำหน้าที่เป็นจุดเริ่มต้นสำหรับนักพัฒนา นักวิจัย และผู้ที่ชื่นชอบที่ต้องการเจาะลึกเข้าไปในโลกแห่งการค้นหาข้อความตามบริบท และปรับปรุงแอปพลิเคชันด้วยเทคนิค NLP ที่ล้ำสมัย

เป้าหมายของฉันคือเพื่อให้แน่ใจว่าเราเข้าใจฐานข้อมูลเวกเตอร์เบื้องหลังตั้งแต่เริ่มต้น

ภาพหน้าจอของแอปพลิเคชัน:

1. ข้อกำหนดเบื้องต้น

เพื่อที่จะทำงานบนระบบของคุณ คุณสามารถติดตั้งแพ็คเกจที่จำเป็นทั้งหมดผ่าน pip โดยใช้ไฟล์ข้อกำหนด:

pip install -r requirements.txt

สำหรับข้อมูลของคุณ ฉันใช้ Python 3.10.1

อย่างไรก็ตาม หากคุณมี GPU คุณจะต้องติดตั้ง FAISS GPU เพื่อการผสานรวมฐานข้อมูลที่รวดเร็วและใหญ่ขึ้น

2. ขอบเขตของโครงการ

เวอร์ชันปัจจุบันของโครงการนี้ประกอบด้วย:

• เว็บอินเตอร์เฟสพื้นฐานที่สร้างโดยใช้ Flask ซึ่งผู้ใช้สามารถป้อนและส่งข้อความค้นหาได้
• เครื่องมือค้นหาแบ็กเอนด์ที่:
  • แปลงคำค้นหาของผู้ใช้ให้เป็นเวกเตอร์เชิงความหมายโดยใช้ Distil BERT
  • เปรียบเทียบเวกเตอร์แบบสอบถามกับชุดเวกเตอร์ที่จัดทำดัชนีไว้ล่วงหน้า (ตรงกับเอกสารข้อความ) ที่จัดเก็บไว้ในดัชนี FAISS ได้อย่างมีประสิทธิภาพ
  • ส่งคืนข้อความที่เกี่ยวข้องกับบริบทมากที่สุดจากคลังข้อมูล
  • เน้นคำสำคัญในข้อความที่ส่งคืนซึ่งมีการจับคู่ตามบริบท

แม้ว่าโครงการนี้จะนำเสนอระบบการค้นหาตามบริบทที่ใช้งานได้ แต่ก็ได้รับการออกแบบให้เป็นโมดูลาร์ เพื่อให้สามารถขยายและรวมเข้ากับระบบหรือแอปพลิเคชันที่ใหญ่ขึ้นได้

3. คำอธิบายแนวทางโดยรวม

รากฐานของโครงการนี้อยู่ที่ความเชื่อที่ว่าเทคนิค NLP สมัยใหม่สามารถให้ผลการค้นหาที่แม่นยำและมีความเกี่ยวข้องตามบริบทมากกว่ามาก เมื่อเปรียบเทียบกับวิธีการที่ใช้คำหลักแบบดั้งเดิม ต่อไปนี้คือรายละเอียดแนวทางของเรา:

1. ส่วนต่อประสานกับผู้ใช้ : ส่วนหน้าที่สร้างขึ้นโดยใช้ Flask ทำหน้าที่เป็นจุดโต้ตอบสำหรับผู้ใช้ มันเรียบง่ายและใช้งานง่าย
2. Query Vectorization : เมื่อผู้ใช้ส่งแบบสอบถาม ระบบแบ็กเอนด์จะเปลี่ยนเป็นเวกเตอร์เชิงความหมายโดยใช้ Distil BERT เวกเตอร์นี้สรุปความหมายของข้อความค้นหา
3. การค้นหาด้วย FAISS : FAISS ซึ่งเป็นไลบรารีการค้นหาความคล้ายคลึงที่มีประสิทธิภาพ ใช้เพื่อเปรียบเทียบเวกเตอร์คิวรีกับดัชนีเวกเตอร์ที่สร้างไว้ล่วงหน้าจากคลังข้อความอย่างรวดเร็ว มีการระบุการจับคู่ที่ใกล้เคียงที่สุดในแง่ของความหมายเชิงความหมาย
4. ผลลัพธ์ที่ส่งคืน : เมื่อมีการระบุข้อความที่เกี่ยวข้องมากที่สุด ระบบยังไฮไลต์คำหลักหรือวลีที่ตรงกับข้อความค้นหาของผู้ใช้ตามบริบท โดยให้ภาพแก่ผู้ใช้ว่าเหตุใดข้อความหนึ่งจึงถือว่าเกี่ยวข้อง
5. การปรับแต่งซ้ำ : โมเดลและเทคนิคพื้นฐานเปิดรับการปรับแต่งโดยอิงจากการวิจัยใหม่ๆ ความคิดเห็นของผู้ใช้ และความต้องการใช้งานเฉพาะ

จากแนวทางดังกล่าว ผมได้แบ่งโครงการออกเป็น 2 ส่วน คือ

ส่วนที่ 1: การสร้างข้อมูลเวกเตอร์ที่สามารถค้นหาได้

ในส่วนนี้ ขั้นแรกเราจะอ่านอินพุตจากเอกสาร แบ่งมันออกเป็นชิ้นเล็กๆ สร้างเวกเตอร์โดยใช้โมเดลแบบ BERT จากนั้นจัดเก็บอย่างมีประสิทธิภาพโดยใช้ FAISS นี่คือแผนภาพการไหลที่แสดงให้เห็นสิ่งเดียวกัน

เราสร้างไฟล์ FAISS Index ซึ่งมีการแสดงเวกเตอร์ของเอกสารที่แยกเป็นชิ้น เรายังจัดเก็บดัชนีของแต่ละก้อนด้วย ซึ่งจะคงไว้เพื่อที่เราจะได้ไม่ต้องสืบค้นฐานข้อมูล/เอกสารอีกครั้ง สิ่งนี้ช่วยเราในการลบการดำเนินการอ่านที่ซ้ำซ้อน

เราทำส่วนนี้โดยใช้ create_index.py มันจะสร้างไฟล์ 2 ไฟล์ข้างต้น หากต้องการใช้รุ่นอื่นก็เปิดให้ทำจากฮับ HuggingFace ?

หมายเหตุ: หากคุณพบปัญหาในการตั้งค่าไฮเปอร์พารามิเตอร์สำหรับมิติ ให้ตรวจสอบไฟล์ config.json ของโมเดลเพื่อดูรายละเอียดเกี่ยวกับมิติของโมเดลที่คุณกำลังพยายามใช้

ส่วนที่ 2: การสร้างอินเทอร์เฟซแอปพลิเคชันที่ค้นหาได้

ในส่วนนี้ เป้าหมายของฉันคือการสร้างอินเทอร์เฟซที่ช่วยให้ผู้ใช้โต้ตอบกับเอกสารได้ ฉันให้ความสำคัญกับการออกแบบที่เรียบง่ายโดยไม่ทำให้เกิดอุปสรรคเพิ่มเติม

4. โครงสร้างโครงการ

1. index.html : หน้า HTML ส่วนหน้าสำหรับป้อนคำค้นหา
2. app.py : แอปพลิเคชัน Flask ที่ให้บริการส่วนหน้าและจัดการคำค้นหา
3. search_engine.py : ประกอบด้วยตรรกะสำหรับการสร้างการฝัง การค้นหา FAISS และการเน้นคำหลัก

/context_search/
    - templates/
        - index.html
    - static/
    	- css/
    		- style.css
    	- images/
    		- img1.png
    		- img2.png
    		- Approach.png files
    - app.py
    - search_engine.py
    - create_index.py
    - index_to_chunk.pkl
    - faiss_index.idx

5. การใช้งาน

1. ตรวจสอบให้แน่ใจว่าคุณมีดัชนี FAISS ที่ผ่านการฝึกอบรม ( faiss_index.idx ) และการแมปประกอบจากดัชนีหนึ่งไปยังอีกกลุ่มข้อความ ( index_to_chunk.pkl )
2. เริ่มแอปพลิเคชัน Flask:

 python app.py 
-- OR --
flask run --host=127.0.0.1 --port=5000

1. เปิดเว็บเบราว์เซอร์แล้วไปที่ http://localhost:5000
2. ป้อนคำค้นหาและสังเกตผลลัพธ์ที่เกี่ยวข้องตามบริบท

6. สิ่งที่ต้องทำ - เพื่อการปรับปรุง

มีพื้นที่สำหรับการปรับปรุงอยู่เสมอ ต่อไปนี้เป็นการปรับปรุงที่เป็นไปได้และคุณลักษณะเพิ่มเติมที่สามารถบูรณาการได้:

1. ความสามารถในการปรับขนาด : ปัจจุบันระบบถูกสร้างขึ้นสำหรับองค์กรที่มีขนาดค่อนข้างเล็ก พิจารณาใช้ประโยชน์จากระบบแบบกระจายหรือโซลูชันบนคลาวด์เพื่อจัดการชุดข้อมูลขนาดใหญ่
2. การเน้นขั้นสูง : ปรับปรุงระบบการเน้นคำหลักเพื่อให้แน่ใจว่ามีการเน้นวลีที่เกี่ยวข้องตามบริบท (และไม่ใช่แค่คำแต่ละคำ)
3. Feedback Loop : รวมกลไกคำติชมของผู้ใช้ซึ่งผู้ใช้สามารถให้คะแนนความเกี่ยวข้องของผลลัพธ์ที่ส่งคืนได้ ซึ่งสามารถใช้เพื่อปรับแต่งโมเดลอย่างละเอียดได้ในอนาคต
4. รองรับเอกสารหลายประเภท : ขยายการรองรับเอกสารประเภทต่าง ๆ เช่น PDF, DOCX ฯลฯ ทำให้ผู้ใช้สามารถค้นหาในรูปแบบที่แตกต่างกันได้
5. ส่วนหน้าที่ได้รับการปรับปรุง : ปรับปรุงอินเทอร์เฟซผู้ใช้ อาจรวมคุณลักษณะขั้นสูง เช่น การเติมข้อความอัตโนมัติ คำแนะนำการค้นหา หรือการแสดงผลลัพธ์ที่ซับซ้อนมากขึ้น
6. รองรับการค้นหาหลายภาษา : ขยายระบบเพื่อรองรับการสืบค้นในหลายภาษา โดยส่งคืนผลลัพธ์จากคลังข้อมูลหลายภาษา

7. ใบอนุญาต

โครงการนี้อยู่ภายใต้ใบอนุญาต MIT รู้สึกอิสระที่จะใช้โดยการอ้างอิง ปรับเปลี่ยน แจกจ่าย และมีส่วนร่วม อ่านเพิ่มเติม

8. การบริจาค

หากคุณสนใจที่จะปรับปรุงโครงการนี้ เรายินดีรับฟังความคิดเห็นของคุณ! โปรดเปิดคำขอดึงหรือปัญหาบนพื้นที่เก็บข้อมูลนี้ ฉันกำลังจัดลำดับความสำคัญของสิ่งต่าง ๆ ข้างต้นเพื่อทำการปรับปรุงเป็นหลัก คำขอดึงอื่นๆ จะได้รับการพิจารณาเช่นกันแต่จะมีลำดับความสำคัญน้อยกว่า

ขอขอบคุณล่วงหน้าสำหรับความสนใจของคุณ :มีความสุข: .