الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

يالم 100ب

YaLM 100B عبارة عن شبكة عصبية تشبه GPT لإنشاء النصوص ومعالجتها. ويمكن استخدامه بحرية من قبل المطورين والباحثين من جميع أنحاء العالم.

يستفيد النموذج من 100 مليار معلمة. استغرق الأمر 65 يومًا لتدريب النموذج على مجموعة مكونة من 800 بطاقة رسومات A100 و1.7 تيرابايت من النصوص والكتب عبر الإنترنت وعدد لا يحصى من المصادر الأخرى باللغتين الإنجليزية والروسية.

يمكن العثور على تفاصيل التدريب وأفضل الممارسات بشأن التسريع والتثبيت في المقالات المتوسطة (الإنجليزية) والهبر (الروسية).

استخدمنا DeepSpeed ​​لتدريب النموذج واستلهمنا مثال Megatron-LM. ومع ذلك، فإن الكود الموجود في هذا الريبو ليس هو نفس الكود الذي تم استخدامه لتدريب النموذج. بل هو مثال مخزون من DeepSpeed ​​repo مع الحد الأدنى من التغييرات اللازمة لاستنتاج نموذجنا.

يثبت

تأكد من توفر مساحة خالية على القرص تبلغ 200 جيجابايت قبل تنزيل الأوزان. من المفترض أن يعمل النموذج (الكود المستند إلى microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) على وحدات معالجة رسوميات متعددة بتوازي موتر. تم اختباره على 4 وحدات معالجة رسوميات (A100 80g) و8 وحدات معالجة رسوميات (V100 32g)، ولكنه قادر على العمل مع تكوينات مختلفة بإجمالي 200 جيجابايت من ذاكرة وحدة معالجة الرسومات التي تقسم أبعاد الوزن بشكل صحيح (على سبيل المثال 16، 64، 128).

تحميل نقطة التفتيش

  • قم بتشغيل bash download/download.sh لتنزيل أوزان النماذج والمفردات.
  • افتراضيًا، سيتم تنزيل الأوزان إلى ./yalm100b_checkpoint/weights/ ، وسيتم تنزيل المفردات إلى ./yalm100b_checkpoint/vocab/ .
  • كخيار آخر، يمكنك استنساخ الريبو HF الخاص بنا وسحب نقطة التفتيش.

عامل ميناء

  • لقد نشرنا صورة على Docker Hub، ويمكن سحبها باستخدام docker/pull.sh . وهو متوافق مع A100 وV100.
  • وبدلاً من ذلك، يمكنك إنشاء صورة عامل ميناء من المصدر باستخدام docker/build.sh (والذي سيؤدي فقط إلى إنشاء صورة عامل ميناء من docker/Dockerfile ).
  • لتشغيل الحاوية، استخدم docker/run.sh (يمكن تغيير وحدات التخزين والاسم والمعلمات الأخرى) .

الاستخدام

يمكنك البدء بالنصوص البرمجية التالية:

  • examples/generate_interactive.sh : التوليد التفاعلي من سطر الأوامر، أبسط طريقة لتجربة النموذج.
  • examples/generate_conditional_sampling.sh : التوليد المشروط مع استراتيجية أخذ العينات. يتم استخدام Top-p بشكل افتراضي، فلا تتردد في تغيير درجة الحرارة أو استخدام top-k. الإدخال هو خطوط jsonlines (على سبيل المثال: examples/example_cond_input.json )، وسيكون الإخراج هو نفس خطوط jsonlines مع إضافة حقل النص المُنشأ إلى كل سطر.
  • examples/generate_conditional_greedy.sh : نفس الجيل السابق، لكن الجيل جشع. مناسبة لحل المشكلات باستخدام لقطات قليلة.
  • examples/generate_unconditional.sh : التوليد غير المشروط. لم يتم استخدام أي إدخال، وسيكون الإخراج خطوط jsonlines.

رخصة

تم نشر النموذج بموجب ترخيص Apache 2.0 الذي يسمح بالاستخدام البحثي والتجاري، وتم ترخيص Megatron-LM بموجب ترخيص Megatron-LM.

تفاصيل التدريب

تكوين مجموعة البيانات

تتكون مجموعة البيانات المستخدمة لتدريب YaLM-100B من الأجزاء التالية (يتم قياس النسب المئوية التقريبية بالرموز المميزة التي يراها النموذج):

  • 25% The Pile — مجموعة بيانات مفتوحة باللغة الإنجليزية أعدها فريق Eleuther AI

  • 75% من النصوص باللغة الروسية تم جمعها بواسطة فريقنا (يتم تقديم النسب المئوية لمجموعة البيانات بأكملها)

    • تمت تصفية 49% من صفحات الويب الروسية من فهرس بحث Yandex من ~100 تيرابايت إلى ~1 تيرابايت من خلال الاستدلال التالي:

      1. إلغاء البيانات المكررة LSH - تم اقتطاع مجموعات من النصوص المتشابهة إلى نص واحد فقط لكل منها
      2. تصفية الطول - تم تجاهل النصوص القصيرة جدًا أو الطويلة جدًا أو النصوص التي تحتوي على عدد قليل جدًا من الجمل الطبيعية.
      3. ترشيح الإنتروبيا - تم تجاهل النصوص ذات الإنتروبيا العالية أو المنخفضة جدًا
      4. تصفية النطاق - تم تجاهل النطاقات التي تحتوي على نصوص متكررة (مثل البيع بالتجزئة عبر الإنترنت).
      5. ترشيح المصنف - تم جمع مجموعة بيانات من النصوص الجيدة بطريقة مشابهة لـ WebText من الصفحات المرتبطة بالتغريدات باللغة الروسية والتي تحتوي على رد واحد على الأقل. ثم تم تدريب المُصنف على تمييز تلك النصوص الجيدة من الصفحات العشوائية من مجموعة البيانات. تم بعد ذلك تجاهل النصوص من مجموعة البيانات الأصلية التي تم الزحف إليها ذات درجات التصنيف المنخفضة

    • 12% أخبار من مصادر مختلفة من فهرس بحث Yandex

    • 10% كتب من مجموعة البيانات المستخدمة في قاموس التوزيع الروسي

    • 3% نصوص متنوعة من مجموعة بيانات Taiga

    • 1.5% من الحوارات من وسائل التواصل الاجتماعي تتم معالجتها مسبقًا بطريقة مشابهة لكيفية معالجة Reddit في The Pile

    • 0.5% الجزء الروسي من ويكيبيديا

تم اجتياز بعض المجموعات الفرعية حتى 3 مرات أثناء التدريب.

عملية التدريب

تم تدريب النموذج على مجموعة مكونة من 800 A100 لمدة 65 يومًا تقريبًا. في ذلك الوقت استهلكت 300 مليار رمز. يمكنك رؤية TensorBoard مع LR والجدول الزمني المتزايد ومقاييس التدريب و"مقاييس الحرارة" الخاصة بنا على صفحة HF.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل