LayerSkip

LayerSkip

قاعدة التعليمات البرمجية هذه هي تطبيق LayerSkip: تمكين استنتاج الخروج المبكر وفك التشفير الذاتي.

ابدء

• استنساخ الريبو:

$ git clone [email protected]:facebookresearch/LayerSkip.git
$ cd LayerSkip

• بيئة الإعداد:

$ conda create --name layer_skip python=3.10
$ conda activate layer_skip

$ pip install -r requirements.txt

• نماذج الوصول: لمراقبة التسريع، تحتاج إلى الوصول إلى LLMs الذين تم تدريبهم باستخدام وصفة LayerSkip. نحن نقدم 6 نقاط فحص على HuggingFace لنماذج Llama المختلفة التي يتم تدريبها مسبقًا باستمرار باستخدام وصفة LayerSkip:

  • facebook/layerskip-llama2-7B
  • facebook/layerskip-llama2-13B
  • facebook/layerskip-codellama-7B
  • facebook/layerskip-codellama-34B
  • facebook/layerskip-llama3-8B
  • facebook/layerskip-llama3.2-1B

للوصول إلى كل نموذج:

1. تفضل بزيارة الرابط الخاص بالعارضة أعلاه، وتأكد من تسجيل الدخول إلى موقع HuggingFace باستخدام حسابك.
2. املأ نموذج الطلب وأرسله. قد تستغرق الموافقة بعض الوقت ويجب أن تتلقى إشعارًا بالبريد الإلكتروني لإعلامك بمنح الإذن للنموذج.
3. اتبع الخطوات هنا للحصول على رمز وصول المستخدم.
4. في سطر الأوامر، قم بتشغيل huggingface-cli login ، وسيُطلب منك تقديم الرمز المميز الذي حصلت عليه في الخطوة 3.

بمجرد تشغيل هذه الخطوات، يجب أن تعمل الأوامر أدناه لتشغيل نقاط فحص LayerSkip.

يولد

لتشغيل أحد نماذجنا في الوضع التفاعلي باستخدام فك تشفير الانحدار التلقائي العادي:

$ torchrun generate.py --model facebook/layerskip-llama2-7B 
    --sample True 
    --max_steps 512

من أجل مراقبة التسريع، تحتاج إلى استخدام فك تشفير التخمين الذاتي لإنشاء الرموز المميزة، وتحديد --exit_layer ، الطبقة التي سيتم الخروج عندها من مرحلة المسودة، و-- --num_speculations ، عدد الرموز المميزة للمسودة:

$ torchrun generate.py --model facebook/layerskip-llama2-7B 
    --sample True 
    --max_steps 512 
    --generation_strategy self_speculative 
    --exit_layer 8 
    --num_speculations 6

نصائح:

• يمكنك تغيير --model إلى أي نموذج HuggingFace ولكن من أجل ملاحظة تسريع عملية فك تشفير التخمين الذاتي، استخدم نموذجًا تم تدريبه باستخدام وصفة LayerSkip، مثل تلك التي فتحناها المصدر على HuggingFace.
• بشكل افتراضي نقوم بتمكين أخذ العينات. يمكنك تغيير سلوك أخذ العينات باستخدام الوسيطات --sample --temperature و --top_p و --top_k .
• يمكنك تشغيل python generate.py --help للحصول على تفاصيل حول وسائط سطر الأوامر المختلفة.

المعيار

لقياس الأداء على مجموعة البيانات:

$ torchrun benchmark.py --model facebook/layerskip-llama2-7B 
    --dataset cnn_dm_summarization 
    --num_samples 100 
    --generation_strategy self_speculative 
    --exit_layer 8 
    --num_speculations 6 
    --output_dir ./logs

نصائح:

• يمكنك تحديد مهام مختلفة عن طريق تعديل الوسيطة --dataset :
  • cnn_dm_summarization : تلخيص CNN/DM
  • xsum_summarization : تلخيص XSUM
  • cnn_dm_lm : نمذجة لغة CNN/DM (نظرًا للكلمات القليلة الأولى من المقالة، قم بإنشاء المقالة المتبقية)
  • human_eval : ترميز HumanEval
• بشكل افتراضي، يتم تشغيل المهام كـ 0-shot. يمكنك التغيير إلى أي n -shot محدد عن طريق تحديد الوسيطة --n_shot .
• بشكل افتراضي، نقوم بتمكين أخذ العينات، في حين أن النتائج الواردة في الورقة كانت عبارة عن فك تشفير جشع دون أخذ العينات. يمكنك تغيير سلوك أخذ العينات باستخدام الوسيطات --sample --temperature و --top_p و --top_k .
• يمكنك تشغيل python benchmark.py --help للحصول على تفاصيل حول وسائط سطر الأوامر المختلفة.

يقيم

لقد قمنا بدمج نصوصنا البرمجية مع Eleuther Language Model Evaluation Harness لتمكين عدد كبير من المهام والنص الذي تم إنشاؤه بعد العملية بشكل صحيح.

$ torchrun eval.py --model facebook/layerskip-llama2-7B 
    --tasks gsm8k 
    --limit 10 
    --generation_strategy self_speculative 
    --exit_layer 8 
    --num_speculations 6 
    --output_dir ./logs

نصائح:

• لاحظ أنه مع فك التشفير التخميني، يمكننا فقط الحصول على تسريعات من مهام الإنشاء (على سبيل المثال، gsm8k أو cnn_dailymail ) ، في حين أن مهام التصنيف، أي مهام أسئلة الاختيار من متعدد (على سبيل المثال، piqa ، social_iqa ) أو مهام الأسئلة True/False (على سبيل المثال، boolq ) سوف لا يؤدي إلى تسريع.
• يمكنك تحديد عدد عشوائي من المهام التي يدعمها Eleuther Evaluation Harness باستخدام الوسيطة --tasks . للحصول على قائمة بجميع المهام الممكنة، قم بزيارة هذا الرابط.
• كما هو الحال مع البرامج النصية generate.py و benchmark.py ، يمكنك تحديد نماذج ومجموعات بيانات ومعلمات أخذ العينات مختلفة
• يمكنك تشغيل python benchmark.py --help للحصول على تفاصيل حول وسائط سطر الأوامر المختلفة.

اكتساح

تحدد معلمات الاستدلال الفائقة و exit_layer و num_speculations السرعة أثناء الاستدلال:

• exit_layer :
  • الأصغر يعني مرحلة مسودة أسرع ولكن أقل دقة
  • الأكبر يعني مرحلة مسودة أكثر دقة ولكنها أبطأ
• num_speculations :
  • الأصغر يعني معدل قبول أعلى ولكن مرحلة التحقق ستستهلك أقل من مرحلة المسودة
  • يعني "Learger" أن مرحلة التحقق ستستهلك مرحلة المسودة بشكل أفضل ولكن معدل القبول ينخفض

قد يتغير المزيج الأمثل من exit_layer و num_speculations مع معلمات النموذج ومجموعة البيانات وأخذ العينات. ومن ثم، فقد قدمنا ​​​​برنامجًا نصيًا لمسح شبكة من exit_layer المختلفة و num_speculations :

$ torchrun sweep.py --model facebook/layerskip-llama2-7B 
    --dataset human_eval 
    --generation_strategy self_speculative 
    --num_samples 150 
    --max_steps 256 
    --output_dir ./logs/ 
    --sample False

سيؤدي هذا إلى إنشاء ملف CSV في الدليل المحدد في الوسيطة --outpu_dir .

نصائح:

• كما هو الحال مع البرامج النصية generate.py و benchmark.py ، يمكنك تحديد نماذج ومجموعات بيانات ومعلمات أخذ عينات مختلفة
• يمكنك تشغيل python sweep.py --help للحصول على تفاصيل حول وسائط سطر الأوامر المختلفة.

صحة

من أجل التحقق من صحة الرموز المميزة التي تم إنشاؤها لخوارزمية فك التشفير التأملي الذاتي، قمنا بإنشاء برنامج نصي لمقارنة مخرجات فك التشفير الانحداري مع فك التشفير التأملي الذاتي. لاحظ أنه لا يمكننا ضمان تكافؤ المخرجات إلا في حالة عدم وجود عينات (على سبيل المثال --sample False ):

$ torchrun correctness.py --model facebook/layerskip-llama2-7B 
    --dataset human_eval 
    --generation_strategy self_speculative 
    --num_speculations 6 
    --exit_layer 4 
    --num_samples 10 
    --sample False 
    --output_dir ./logs 

باستخدام عامل الميناء

يرجى التحقق من DOCKER.md لإعداد المشروع باستخدام عامل الإرساء

تطبيقات أخرى

لدينا أيضًا تطبيقات أخرى لاستدلال LayerSkip:

• gpt-fast: gpt-fast عبارة عن أداة إنشاء نص محولة بسيطة وفعالة تعتمد على pytorch. لقد قمنا بتطبيق LayerSkip في قاعدة تعليمات gpt-fast لتمكين دمجها مع تحسينات أخرى مثل torch.compile() ، والتكميم، والتوازي الموتر.
• Native HuggingFace: في بطاقة النموذج الخاصة بكل نموذج من نماذج HuggingFace، قدمنا ​​مقتطفات تعليمات برمجية بسيطة تعمل على تعزيز إمكانات فك التشفير التخميني لـ HuggingFace باستخدام خدعة بسيطة لاستنساخ الطبقات السابقة من النموذج الرئيسي دون استنساخ أوزانها. على الرغم من أن هذا التنفيذ بسيط ولا يتطلب تنفيذ وظائف أخرى أو استيراد مكتبات أخرى، إلا أنه لا يشارك ذاكرة التخزين المؤقت KV أو التنفيذ بين مرحلتي المسودة والتحقق.

تمرين

تنفيذ التدريب لدينا هو العمل في التقدم. يمكنك التحقق من طلب السحب هذا للحصول على التفاصيل والمناقشات.

رخصة

تم ترخيص LayerSkip بموجب ترخيص CC-by-NC. ارجع إلى ملف الترخيص الموجود في دليل المستوى الأعلى.

المساهمة

نحن نرحب بالمساهمات في LayerSkip. إذا كنت مهتمًا بالمساهمة، فيرجى الاطلاع على هذه الوثيقة.

الاقتباس

إذا كنت تستخدم LayerSkip في بحثك، فيرجى استخدام إدخال BibTex التالي:

 @misc { layerskip ,
    title = { LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding } ,
    author = { Mostafa Elhoushi and Akshat Shrivastava and Diana Liskovich and Basil Hosmer and Bram Wasti and Liangzhen Lai and Anas Mahmoud and Bilge Acun and Saurabh Agarwal and Ahmed Roman and Ahmed A Aly and Beidi Chen and Carole-Jean Wu } ,
    booktitle = " Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) " ,
    month = aug,
    year = " 2024 " ,
    address = " Bangkok, Thailand " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2024.acl-long.681 " ,
    doi = " 10.18653/v1/2024.acl-long.681 " ,
    pages = " 12622--12642 " ,
}