Insurance Query engine

النموذج المستخدم هو "BAAI/bge-base-en-v1.5" من الوجه المعانق

1. إعداد Qdrant مع Docker

لتشغيل Qdrant في حاوية Docker، اتبع الخطوات التالية:

اسحب صورة Qdrant Docker:

docker pull qdrant/qdrant

تشغيل حاوية Qdrant:

docker run -p 6333:6333 qdrant/qdrant

2. تثبيت المكتبات المطلوبة

قبل تشغيل أي برامج نصية، تأكد من تثبيت جميع مكتبات Python المطلوبة:

pip install -r requirements.txt

3. استخدام ingest.py

يقوم البرنامج النصي ingest.py بمعالجة مستند Insurance_Handbook.pdf PDF، وإنشاء عمليات تضمين متجهة من النص، وتخزين هذه عمليات التضمين في قاعدة بيانات المتجهات Qdrant.

كيف يعمل: قم بتحميل ملف PDF: يقرأ محتوى ملف PDF المحدد. تقسيم النص: يقسم النص إلى أجزاء يمكن التحكم فيها لإنشاء التضمينات. قد تتداخل كل قطعة قليلاً للحفاظ على السياق. إنشاء التضمينات: يحول كل جزء من النص إلى تضمين متجه باستخدام نموذج تم تدريبه مسبقًا. التخزين في Qdrant: يخزن التضمينات التي تم إنشاؤها والنص المقابل لها في قاعدة بيانات متجهات Qdrant. الاستخدام: قم بتشغيل الأمر التالي لمعالجة البيانات واستيعابها في Qdrant:

python ingest.py 

4. استخدام app.py

يتم استخدام البرنامج النصي app.py للاستعلام عن قاعدة بيانات متجهات Qdrant لاسترداد المستندات بناءً على استعلام مقدم من المستخدم.

كيف يعمل: تضمين الاستعلام: تحويل استعلام الإدخال إلى تضمين متجه باستخدام نفس النموذج المستخدم لتضمين المستندات. بحث التشابه: يقارن تضمين الاستعلام مع التضمينات المخزنة في Qdrant للعثور على المستندات الأكثر تشابهًا. إرجاع النتائج: استرداد وعرض أفضل المستندات المطابقة بناءً على درجات التشابه. الاستخدام: قم بتشغيل الأمر التالي لبدء الاستعلام:

python app.py

تأكد من تشغيل حاوية Qdrant ومن استيعاب البيانات باستخدام البرنامج النصي ingest.py.