context search engine

محرك بحث نصي سياقي باستخدام بيانات المتجهات وFAISS

الهدف الأساسي من هذا المشروع هو عرض قدرات البحث عن المتجهات من خلال توفير واجهة سهلة الاستخدام تمكن المستخدمين من إجراء عمليات بحث سياقية عبر مجموعة من المستندات النصية. من خلال الاستفادة من قوة BERT من Hugging Face وFAISS من Facebook، فإننا نعيد مقاطع نصية وثيقة الصلة استنادًا إلى المعنى الدلالي لاستعلام المستخدم بدلاً من مجرد مطابقات الكلمات الرئيسية. يعد هذا المشروع بمثابة نقطة انطلاق للمطورين والباحثين والمتحمسين الذين يرغبون في التعمق أكثر في عالم البحث عن النص السياقي وتعزيز تطبيقاتهم باستخدام أحدث تقنيات البرمجة اللغوية العصبية.

هدفي هو التأكد من أننا نفهم قاعدة بيانات المتجهات خلف الكواليس من البداية.

لقطة شاشة للتطبيق:

1. المتطلبات الأساسية

لكي تعمل على نظامك، يمكنك تثبيت جميع الحزم الضرورية عبر النقطة باستخدام ملفات المتطلبات:

pip install -r requirements.txt

لمعلوماتك، أنا أستخدم Python 3.10.1.

ومع ذلك، إذا كان لديك وحدة معالجة رسومات، يُطلب منك تثبيت وحدة معالجة الرسومات FAISS لإجراء عمليات تكامل أسرع وأكبر لقاعدة البيانات.

2. نطاق المشروع

النسخة الحالية من هذا المشروع تشمل:

• واجهة ويب أساسية تم إنشاؤها باستخدام Flask حيث يمكن للمستخدمين إدخال طلبات البحث الخاصة بهم وإرسالها.
• محرك بحث خلفي يقوم بما يلي:
  • يحول استعلامات المستخدم إلى متجهات دلالية باستخدام Distil BERT.
  • يقارن بكفاءة متجه الاستعلام مع مجموعة المتجهات المفهرسة مسبقًا (المقابلة للمستندات النصية) المخزنة في فهرس FAISS.
  • إرجاع المقطع النصي الأكثر صلة بالسياق من المجموعة.
  • يقوم بتمييز الكلمات الأساسية الموجودة في المقطع النصي الذي تم إرجاعه والمتطابقة مع السياق.

في حين أن المشروع يقدم نظام بحث سياقي وظيفي، فقد تم تصميمه ليكون معياريًا، مما يسمح بالتوسع المحتمل والتكامل في أنظمة أو تطبيقات أكبر.

3. شرح النهج الشامل

يكمن أساس هذا المشروع في الاعتقاد بأن تقنيات البرمجة اللغوية العصبية الحديثة يمكن أن تقدم نتائج بحث أكثر دقة وملاءمة للسياق مقارنة بالطرق التقليدية المعتمدة على الكلمات الرئيسية. وفيما يلي تفصيل لنهجنا:

1. واجهة المستخدم : الواجهة الأمامية، التي تم إنشاؤها باستخدام Flask، تعمل كنقطة تفاعل للمستخدمين. لقد ظلت بسيطة وبديهية.
2. تحويل الاستعلام : عندما يرسل المستخدم استعلامًا، يقوم نظام الواجهة الخلفية بتحويله إلى متجه دلالي باستخدام Distil BERT. يلخص هذا المتجه معنى الاستعلام.
3. البحث باستخدام FAISS : يتم استخدام FAISS، وهي مكتبة فعالة للبحث عن التشابه، لمقارنة متجه الاستعلام بسرعة مع فهرس محدد مسبقًا للمتجهات من مجموعة النص. ويتم تحديد أقرب تطابق من حيث المعنى الدلالي.
4. عرض النتائج : بمجرد تحديد المقطع النصي الأكثر صلة، يقوم النظام أيضًا بتمييز الكلمات الرئيسية أو العبارات التي تتطابق مع استعلام المستخدم سياقيًا، مما يوفر إشارة مرئية للمستخدم حول سبب اعتبار مقطع معين ذا صلة.
5. التحسين التكراري : النماذج والتقنيات الأساسية مفتوحة للتحسينات بناءً على الأبحاث الأحدث وتعليقات المستخدمين واحتياجات التطبيق المحددة.

بناءً على هذا النهج، قمت بتقسيم المشروع إلى قسمين:

القسم 1: إنشاء بيانات موجهة قابلة للبحث

في هذا القسم، نقوم أولاً بقراءة المدخلات من المستندات، وتقسيمها إلى أجزاء أصغر، وإنشاء متجهات باستخدام نموذج قائم على BERT، ثم تخزينها بكفاءة باستخدام FAISS. هنا مخطط التدفق الذي يوضح نفس الشيء.

نقوم بإنشاء ملف فهرس FAISS الذي يحتوي على تمثيل متجه للوثيقة المقسمة. نقوم أيضًا بتخزين فهرس كل قطعة. يتم الحفاظ على هذا حتى لا نضطر إلى الاستعلام عن قاعدة البيانات/المستندات مرة أخرى. وهذا يساعدنا في إزالة عمليات القراءة الزائدة عن الحاجة.

نقوم بتنفيذ هذا القسم باستخدام create_index.py. سيتم إنشاء الملفين أعلاه. إذا كنت بحاجة إلى استخدام نماذج أخرى، فهل أنت مستعد للقيام بذلك من خلال HuggingFace hub؟

ملاحظة: إذا وجدت مشكلات في إعداد المعلمة الفائقة للأبعاد، فراجع ملف config.json الخاص بالنماذج للعثور على تفاصيل حول أبعاد النموذج الذي تحاول استخدامه.

القسم 2: إنشاء واجهة تطبيق قابلة للبحث

في هذا القسم، هدفي هو بناء واجهة تسمح للمستخدمين بالتفاعل مع المستندات. أعطي الأولوية للتصميم البسيط دون التسبب في عقبات إضافية.

4. هيكل المشروع

1. index.html : صفحة HTML للواجهة الأمامية لإدخال استعلامات البحث.
2. app.py : تطبيق Flask الذي يخدم الواجهة الأمامية ويتعامل مع استعلامات البحث.
3. search_engine.py : يحتوي على منطق لإنشاء التضمين وبحث FAISS وتمييز الكلمات الرئيسية.

/context_search/
    - templates/
        - index.html
    - static/
    	- css/
    		- style.css
    	- images/
    		- img1.png
    		- img2.png
    		- Approach.png files
    - app.py
    - search_engine.py
    - create_index.py
    - index_to_chunk.pkl
    - faiss_index.idx

5. الاستخدام

1. تأكد من أن لديك فهرس FAISS مدربًا ( faiss_index.idx ) وتعيينًا مصاحبًا من الفهرس إلى مقطع النص ( index_to_chunk.pkl ).
2. ابدأ تطبيق القارورة:

 python app.py 
-- OR --
flask run --host=127.0.0.1 --port=5000

1. افتح متصفح الويب وانتقل إلى http://localhost:5000 .
2. أدخل استعلام بحث ولاحظ النتيجة ذات الصلة بالسياق.

6. الأشياء التي يجب القيام بها – لإجراء التحسينات

هناك دائما مجال للتحسينات. فيما يلي بعض التحسينات المحتملة والميزات الإضافية التي يمكن دمجها:

1. قابلية التوسع : حاليًا، تم تصميم النظام ليناسب مجموعات أصغر نسبيًا. فكر في الاستفادة من الأنظمة الموزعة أو الحلول المستندة إلى السحابة للتعامل مع مجموعات البيانات الأكبر حجمًا.
2. التمييز المتقدم : قم بتحسين نظام تمييز الكلمات الرئيسية لضمان تمييز العبارات ذات الصلة بالسياق (وليس فقط الكلمات الفردية).
3. حلقة التعليقات : دمج آلية تعليقات المستخدمين حيث يمكن للمستخدمين تقييم مدى ملاءمة النتائج التي يتم إرجاعها. يمكن استخدام هذا لضبط النماذج في المستقبل.
4. دعم أنواع المستندات المتعددة : توسيع الدعم لأنواع المستندات المختلفة مثل PDF وDOCX وما إلى ذلك، مما يسمح للمستخدمين بالبحث عبر تنسيقات مختلفة.
5. الواجهة الأمامية المحسنة : تحسين واجهة المستخدم، وربما دمج الميزات المتقدمة مثل الإكمال التلقائي، أو اقتراحات الاستعلام، أو عرض نتائج أكثر تعقيدًا.
6. دعم عمليات البحث متعددة اللغات : قم بتوسيع النظام لدعم الاستعلامات بلغات متعددة، وإرجاع النتائج من مجموعة متعددة اللغات.

7. الترخيص

هذا المشروع تحت رخصة MIT. لا تتردد في الاستخدام عن طريق الاستشهاد والتعديل والتوزيع والمساهمة. اقرأ المزيد.

8. المساهمة

إذا كنت مهتمًا بتحسين هذا المشروع، فنحن نرحب بمساهماتك! يرجى فتح طلب سحب أو إصدار في هذا المستودع. أقوم بشكل أساسي بإعطاء الأولوية للأشياء المذكورة أعلاه للقيام بالتحسينات. سيتم أيضًا النظر في طلبات السحب الأخرى ولكن ذات أولوية أقل.

شكرا مقدما على اهتمامك. :سعيد: .