LLM المحلية مع RAG

ماجستير في القانون المحلي مع RAG

هذا المشروع عبارة عن صندوق اختبار تجريبي لاختبار الأفكار المتعلقة بتشغيل نماذج اللغات الكبيرة المحلية (LLMs) مع Ollama لإجراء عملية توليد الاسترجاع المعزز (RAG) للإجابة على الأسئلة بناءً على نماذج ملفات PDF. في هذا المشروع، نستخدم أيضًا Ollama لإنشاء عمليات تضمين باستخدام نص التضمين الاسمي لاستخدامه مع Chroma. يرجى ملاحظة أنه يتم إعادة تحميل التضمينات في كل مرة يتم فيها تشغيل التطبيق، وهو أمر غير فعال ويتم إجراؤه هنا فقط لأغراض الاختبار.

هناك أيضًا واجهة مستخدم ويب تم إنشاؤها باستخدام Streamlit لتوفير طريقة مختلفة للتفاعل مع Ollama.

متطلبات

• Olma الإصدار 0.1.26 أو أعلى.

يثبت

1. انسخ هذا المستودع إلى جهازك المحلي.
2. قم بإنشاء بيئة افتراضية لـ Python عن طريق تشغيل python3 -m venv .venv .
3. قم بتنشيط البيئة الافتراضية عن طريق تشغيل source .venv/bin/activate على Unix أو MacOS، أو ..venvScriptsactivate على Windows.
4. قم بتثبيت حزم Python المطلوبة عن طريق تشغيل pip install -r requirements.txt .

تشغيل المشروع

ملحوظة: في المرة الأولى التي تقوم فيها بتشغيل المشروع، سيتم تنزيل النماذج الضرورية من Ollama لماجستير القانون والتضمين. هذه عملية إعداد تتم لمرة واحدة وقد تستغرق بعض الوقت حسب اتصالك بالإنترنت.

1. تأكد من تنشيط بيئتك الافتراضية.
2. قم بتشغيل البرنامج النصي الرئيسي باستخدام python app.py -m -p لتحديد النموذج والمسار إلى المستندات. إذا لم يتم تحديد أي نموذج، فسيتم تعيينه افتراضيًا على ميسترال. إذا لم يتم تحديد مسار، فسيتم تعيينه افتراضيًا على Research الموجود في المستودع على سبيل المثال للأغراض.
3. اختياريًا، يمكنك تحديد نموذج التضمين لاستخدامه مع -e . إذا لم يتم تحديده، فسيتم تعيينه افتراضيًا على nomic-embed-text.

سيؤدي هذا إلى تحميل ملفات PDF وملفات Markdown، وإنشاء التضمينات، والاستعلام عن المجموعة، والإجابة على السؤال المحدد في app.py .

تشغيل واجهة المستخدم Streamlit

1. تأكد من تنشيط بيئتك الافتراضية.
2. انتقل إلى الدليل الذي يحتوي على البرنامج النصي ui.py
3. قم بتشغيل تطبيق Streamlit عن طريق تنفيذ streamlit run ui.py في جهازك الطرفي.

سيؤدي هذا إلى تشغيل خادم ويب محلي وفتح علامة تبويب جديدة في متصفح الويب الافتراضي الخاص بك حيث يمكنك التفاعل مع التطبيق. تتيح لك واجهة المستخدم Streamlit تحديد النماذج وتحديد مجلد، مما يوفر طريقة أسهل وأكثر سهولة للتفاعل مع نظام RAG chatbot مقارنة بواجهة سطر الأوامر. سيتعامل التطبيق مع تحميل المستندات، وإنشاء التضمينات، والاستعلام عن المجموعة، وعرض النتائج بشكل تفاعلي.

التقنيات المستخدمة

• Langchain: مكتبة بايثون للعمل مع نموذج اللغة الكبير
• Ollama: منصة لتشغيل نماذج اللغات الكبيرة محليًا.
• Chroma: قاعدة بيانات متجهة لتخزين واسترجاع التضمينات.
• PyPDF: مكتبة بايثون لقراءة ملفات PDF ومعالجتها.
• Streamlit: إطار ويب لإنشاء تطبيقات تفاعلية لمشاريع التعلم الآلي وعلوم البيانات.