gptq_for_langchain

نماذج GPTQ في LangChain

مقدمة

يوفر هذا المستودع إطارًا محتملاً يحتوي على أمثلة عملية لتطوير التطبيقات المدعومة بنماذج نماذج اللغة مفتوحة المصدر (LLMs) بالتعاون مع LangChain. على وجه التحديد، يركز هذا الدليل على تنفيذ واستخدام متغيرات GPTQ الكمية ذات 4 بت لمختلف LLMs، مثل WizardLM وWizardLM-Mega. على الرغم من أن الموارد المخصصة لهذا الموضوع المحدد محدودة عبر الإنترنت، إلا أن هذا المستودع يهدف إلى سد هذه الفجوة وتقديم أدلة شاملة.

يوفر تشغيل LLMs محليًا العديد من المزايا، حيث تعد الخصوصية عاملاً رئيسياً. من خلال الاحتفاظ ببياناتك داخل أجهزتك الخاصة، يمكنك الاستفادة من إمكانيات هذه النماذج دون الاعتماد على واجهات برمجة التطبيقات الخارجية، مما يضمن تحكمًا أكبر في بياناتك وتمكين تطوير التطبيقات المثيرة.

المتطلبات الأساسية

• أوبونتو 22.04 / WSL2 أوبونتو لنظام التشغيل Windows
• وحدة معالجة الرسومات Nvidia مع ذاكرة فيديو بسعة 6 جيجابايت على الأقل
  • ذاكرة VRAM سعة 6 جيجابايت كافية لتحميل نماذج 4 بت 7B
• 8 خيوط لوحدة المعالجة المركزية
• يوصى بذاكرة الوصول العشوائي (RAM) بسعة 16 جيجابايت
• برامج تشغيل Nvidia مثبتة بالفعل (يجب أن يعمل أمر nvidia-smi )
• مساحة كافية على القرص للحزم وبرامج التشغيل وملفات النماذج (حوالي 30 جيجابايت، قد تختلف حسب النظام)
• جيت LFS

ملاحظة: سيتم إضافة دعم عامل الميناء.

النماذج التي تم اختبارها

نماذج GPTQ التالية مدعومة في الوقت الحالي:

• المعالجLM-7B-GPTQ
• معالجLM-7B-غير خاضعة للرقابة-GPTQ

النهوض والجري

من أجل البدء في استخدام نماذج GPTQ مع langchain، هناك بعض الخطوات المهمة:

1. إعداد بيئة بايثون
2. قم بتثبيت الإصدارات الصحيحة من مجموعة أدوات Pytorch وCUDA
3. قم بإعداد quant_cuda بشكل صحيح
4. قم بتنزيل نماذج GPTQ من HuggingFace
5. بعد الخطوات المذكورة أعلاه، يمكنك تشغيل demo.py واستخدام LLM مع LangChain تمامًا كما تفعل مع نماذج OpenAI.

خلق بيئة كوندا

قم بتثبيت Miniconda باتباع التعليمات الواردة من الموقع الرسمي.

للتحقق مما إذا تم إعداد conda بشكل صحيح

$ conda --version

قم بتهيئة conda على الصدفة الخاصة بك

$ conda init

أنشئ بيئة كوندا جديدة، وتأكد من استخدام إصدار Python المحدد لأنه تم اختباره فقط على 3.10.9

$ conda create -n wizardlm_langchain python=3.10.9

بمجرد إنشاء البيئة الجديدة، قم بتنشيطها.

$ conda activate wizardlm_langchain

تهيئة البيئة

تتم العملية برمتها التي تمت مناقشتها أعلاه من 2 إلى 4 تلقائيًا باستخدام البرنامج النصي setup.sh bash. لا تتردد في تعديله وفقا لترضيك.

$ bash ./setup.sh

يجب أن يتم تشغيل جميع الخطوات بشكل مثالي دون أخطاء إذا تم إعداد البيئة بشكل صحيح.

إذا كنت تواجه الاستثناء التالي أثناء تشغيل العرض التوضيحي:

 Exception: Error while deserializing header: HeaderTooLarge

فهذا يعني أنه لم يتم تنزيل النموذج بالكامل، لذا يمكنك محاولة إعادة تنزيله باستخدام أمر git clone الموجود في setup.py .

قبل تشغيل العرض التوضيحي، من الجيد إلغاء تنشيط البيئة وإعادة تنشيطها عند إعدادها لأول مرة.

قم بتشغيل العرض التوضيحي:

$ python demo.py

سيؤدي استخدام setup.sh افتراضيًا إلى تنزيل نموذج wizardLM-7B-GPTQ، ولكن إذا كنت تريد استخدام نماذج أخرى تم اختبارها مع هذا المشروع، فيمكنك استخدام البرنامج النصي download_model.sh .

$ download_model.sh < HUGGING FACE MODEL NAME >
# Example
$ ./download_model.sh " TheBloke/WizardLM-7B-uncensored-GPTQ "

ملاحظة: إذا لم تتمكن من تنزيل النماذج الكاملة من HF، فتأكد من تكوين Git LFS بشكل صحيح. قد يؤدي الأمر git lfs install في بعض الأحيان إلى إنجاز المهمة.

الاستخدام

بمجرد الانتهاء من عملية الإعداد، يمكنك استخدام نماذج GPTQ مع LangChain باتباع الخطوات التالية:

تأكد من إلحاق wizardlm_langchain root project dir بـ PYTHONPATH لاستخدامه عالميًا

ارجع إلى مثال البرنامج النصي demo.py لفهم كيفية استخدامه.

المساهمة

المساهمات في هذا المستودع هي موضع ترحيب. إذا وجدت أي مشاكل أو لديك اقتراحات للتحسينات، فلا تتردد في فتح مشكلة أو إرسال طلب سحب.

عند المساهمة يرجى الالتزام بالإرشادات التالية:

• افصل المستودع وأنشئ فرعًا جديدًا لمساهمتك.
• قم بتضمين الوثائق والتعليقات عند الضرورة.
• اكتب رسائل التزام واضحة.
• اختبر تغييراتك بدقة قبل تقديم طلب السحب.

رخصة

هذا المستودع مرخص بموجب رخصة جنو العامة. راجع ملف الترخيص لمزيد من المعلومات.

شكر وتقدير

نود أن نشيد بمساهمات مجتمع المصادر المفتوحة ومطوري نماذج GPTQ الأصلية المستخدمة في هذا المستودع. مليون شكر لـ oobabooga/text-generation-webui، لقد كان عملهم مفيدًا جدًا لإعداد نماذج GPTQ باستخدام langchain.