lora instruct

?‍؟؟ لورا-إرشاد

يحتوي هذا المستودع على تعليمات برمجية لضبط LLMs مفتوحة المصدر المسموح بها باستخدام التكيف منخفض الرتبة (LoRA).

تم اختبار الكود باستخدام مجموعة بيانات Stanford Alpaca.

• وقت التدريب المقدر لضبط RedPajama-INCITE-Base-7B-v0.1 باستخدام RTX 3090 واحد وStanford Alpaca هو حوالي 12 ساعة.
• وقت التدريب المقدر لضبط RedPajama-INCITE-Base-7B-v0.1 مع RTX 3090 وRTX Titan وStanford Alpaca هو 6.5 ساعات تقريبًا.
• يدعم حاليًا فقط LoRA Instruct الضبط الدقيق RedPajama-INCITE-Base-7B-v0.1.

مستوحاة من الألبكة-لورا

النماذج المدربة

نموذج	أشواط	وقت التدريب	وصلة
لاما 3 ب	⬜
لاما 7 ب	⬜
بيجامة حمراء 3B	✅	1:44:14
بيجامة حمراء 7B	✅	3:09:58
ام بي تي 3 ب	⬜
ام بي تي 7 ب	⬜
فالكون 7 ب	✅

مواصفات أجهزة التدريب

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

الإعداد المحلي

تثبيت التبعيات

poetry install

للضبط الدقيق باستخدام وحدة معالجة الرسومات NVidia 2000 series أو الإصدارات الأقدم، يرجى التعليق على هذا السطر في finetune.py

 model = prepare_model_for_int8_training ( model )

التدريب ( finetune.py )

يحتوي هذا الملف على تطبيق مباشر لـ PEFT / LoRA لنموذج وحدة فك التشفير فقط، بالإضافة إلى بعض التعليمات البرمجية المتعلقة بالإنشاء الفوري والترميز.

مثال على الاستخدام:

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

التدريب الموزع مع ؟ تسريع

نحن نستخدم مكتبة HuggingFace accelerate للتدريب الموزع. فيما يلي مثال للتدريب الموزع باستخدام وحدتي معالجة رسوميات.

• ملاحظة: يرجى ضبط متغيرات البيئة التالية

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

مراجع

• LoRA: التكيف منخفض المستوى لنماذج اللغات الكبيرة
• أحدث أساليب الضبط الدقيق ذات الكفاءة في المعلمات (PEFT).
• ستانفورد ألباكا: نموذج LLaMA يتبع التعليمات
• البرنامج التعليمي EMNLP 2022: الضبط المعياري والفعال للمعلمات لنماذج البرمجة اللغوية العصبية