Document Question Answering GenAI

إجابة سؤال المستند باستخدام LLMS

يقوم هذا المشروع بإنشاء سؤال للإجابة على سؤال مستند مدعوم من نماذج لغة كبيرة (LLMS) مثل Falcon-7B و Dolly-V2-3b باستخدام Langchain ، قاعدة بيانات CronmadB Vector. يتم نشرها على التدليل.

رابط للتطبيق: https://document-question-answering-kedarghule.streamlit.app/

ملاحظة: نظرًا لمشكلات الذاكرة مع STIPLELIT ، قد لا يعمل التطبيق أحيانًا ويعطي خطأ. ويرجع ذلك إلى حد الذاكرة 1 جيجابايت بواسطة STREMLIT. فيما يلي مقطع فيديو يوضح كيف يعمل التطبيق: https://drive.google.com/file/d/1nkvdqdx1emwtzqhkyzu_2ijzgog-us8o/view؟usp=sharing

document.question.answeing.by.kedar.ghule .-. made.with.clipchamp.1.1.mp4

بيان المشكلة

في عصر اليوم من الحمل الزائد للمعلومات ، يواجه الأفراد والمنظمات تحديًا لاستخراج المعلومات ذات الصلة بكفاءة من كميات هائلة من البيانات النصية. غالبًا ما تقصر محركات البحث التقليدية في توفير إجابات دقيقة ودراسة للسياق على أسئلة محددة طرحها المستخدمون. ونتيجة لذلك ، هناك حاجة متزايدة لتقنيات معالجة اللغة الطبيعية المتقدمة (NLP) لتمكين أنظمة الإجابة الدقيقة على أسئلة المستندات (DQA).

الهدف من هذا المشروع هو تطوير تطبيق استجواب مستند مدعوم من طرز لغة كبيرة (LLMS) ، مثل Falcon-7B و Dolly-V2-3b ، باستخدام منصة Langchain وقاعدة بيانات متجه ChromadB. من خلال الاستفادة من إمكانيات LLMS ، يهدف هذا التطبيق إلى تزويد المستخدمين بإجابات دقيقة وشاملة على أسئلتهم ضمن مجموعة مستندات معينة.

المنهجية

• تحميل المستند : يدعم التطبيق تحميل ملفات .txt و .docx . بمجرد التحميل ، يتم تحويل ملف .docx إلى ملف .txt . باستخدام Langchain ، يتم تحميل المستند باستخدام TextLoader.
• تقسيم النص : بعد ذلك ، نقسم النص بشكل متكرر حسب الحرف. لهذا ، نستخدم recursivecharactertextsplitter. هذا النص الخارق هو النصي الموصى به للنص العام. يتم تحديد حجم قطعة وكذلك قائمة من الفواصل.
• توليد التضمينات : يستخدم فئة HuggingFaceMbeddings () في Langchain Sentence_transformers نماذج ، وبشكل أكثر تحديدًا نموذج MPNet-Base-V2.
• قاعدة بيانات المتجهات : يتم استخدام متجر متجه باستخدام chromadb لتخزين البيانات المدمجة ولإجراء عمليات البحث في المتجهات.
• البحث عن السياق : اعتمادًا على سؤال المستخدم ، يتم إجراء بحث تشابه على قاعدة بيانات المتجه للحصول على السياق الأنسب للإجابة على السؤال.
• الهندسة المهمة : السياق أعلاه ، جنبا إلى جنب مع موجه Advropiate ويتم إنشاء سؤال المستخدم.
• الاستدلال باستخدام LLMS : اعتمادًا على اختيار المستخدم ، نستخدم إما Falcon-7B أو Dolly-V2-3b لاستدلالنا. نقوم بتمرير المطالبة المهندسة لإعلان النموذج عرض استجابة النموذج.