DreamerGPT

شفرة المصدر الأخرى

1.0.0

تنزيل

DreamerGPT: الضبط الدقيق لتعليمات نموذج اللغة الصينية

DreamerGPT هو مشروع ضبط دقيق لتعليمات اللغة الصينية الكبيرة بدأه Xu Hao وChi Huixuan وBei Yuanchen وLiu Danyang.

قراءة في النسخة الإنجليزية .

1. مقدمة المشروع

الهدف من هذا المشروع هو تعزيز تطبيق نماذج اللغة الصينية الكبيرة في سيناريوهات ميدانية أكثر عمودية.

هدفنا هو جعل النماذج الكبيرة أصغر حجمًا ومساعدة الجميع على التدريب والحصول على مساعد خبير شخصي في مجالهم الرأسي، ويمكن أن يكون مستشارًا نفسيًا، أو مساعدًا للرموز، أو مساعدًا شخصيًا، أو هو مدرس اللغة الخاص بك، مما يعني ذلك DreamerGPT هو نموذج لغة يحقق أفضل النتائج الممكنة، وأقل تكلفة تدريب، وهو أكثر تحسينًا للغة الصينية. سيستمر مشروع DreamerGPT في فتح تدريب البدء السريع لنموذج اللغة التكراري (بما في ذلك LLaMa وBLOOM)، والتدريب على التعليمات، والتعلم المعزز، والضبط الدقيق للمجال الرأسي، وسيستمر في تكرار بيانات التدريب الموثوقة وأهداف التقييم. نظرًا لمحدودية موظفي المشروع وموارده، تم تحسين الإصدار V0.1 الحالي على LLaMa الصيني لـ LLaMa-7B وLLaMa-13B، مما يضيف ميزات صينية ومحاذاة اللغة وإمكانيات أخرى. حاليًا، لا تزال هناك أوجه قصور في إمكانيات الحوار الطويل والتفكير المنطقي. يرجى الاطلاع على الإصدار التالي من التحديث لمزيد من خطط التكرار.

فيما يلي عرض توضيحي للتكميم يعتمد على 8b (لم يتم تسريع الفيديو حاليًا، ويجري أيضًا تكرار تسريع الاستدلال وتحسين الأداء):

التجريبي2

المزيد من العروض التجريبية:

2. آخر تحديث

[2023/06/17] تحديث الإصدار V0.2: إصدار التدريب التزايدي LLaMa firefly، إصدار BLOOM-LoRA ( finetune_bloom.py ، generate_bloom.py ).
[2023/04/23] أمر صيني مفتوح المصدر رسميًا يضبط الطراز الكبير Dreamer (DreamerGPT) بشكل دقيق، ويوفر حاليًا تجربة تنزيل الإصدار V0.1

النماذج الحالية (التدريب المتزايد المستمر، المزيد من النماذج التي سيتم تحديثها):

اسم النموذج	بيانات التدريب =	تحميل الوزن
V0.2	---	---
D13b-3-3	D13b-2-3 + قطار اليراع-1	[المعانقة الوجه]
D7b-5-1	D7b-4-1 + قطار اليراع-1	[المعانقة الوجه]
V0.1	---	---
D13ب-1-3-1	الصينية-ألبكة-لورا-13b-بداية ساخنة + COIG-part1، COIG-ترجمة + PsyQA-5	[جوجل درايف] [المعانقة]
D13b-2-2-2	الصينية-ألبكة-لورا-13ب-بداية ساخنة + قطار اليراع-0 + COIG-part1، ترجمة COIG	[جوجل درايف] [المعانقة]
D13b-2-3	الصينية-ألبكة-لورا-13ب-بداية ساخنة + قطار اليراع-0 + COIG-part1، COIG-translate + PsyQA-5	[جوجل درايف] [المعانقة]
D7b-4-1	الصينية-ألبكة-لورا-7b-hotstart+يراعة-قطار-0	[جوجل درايف] [المعانقة]

معاينة تقييم النموذج

3. إعداد النماذج والبيانات

3.1 النموذج

تحميل الوزن النموذجي:

اللاما-13ب الأوزان الأصلية
اللاما الصيني/الألبكة-لورا-13ب الوزن

3.2 البيانات

تتم معالجة البيانات بشكل موحد في تنسيق json التالي:

{
    " instruction " : " ... " ,
    " input " : " ... " ,
    " output " : " ... "
}

تنزيل البيانات والمعالجة المسبقة للبرنامج النصي:

بيانات	يكتب
الألبكة-GPT4	إنجليزي
Firefly (معالجة مسبقًا إلى نسخ متعددة، ومحاذاة التنسيق)	الصينية
COIG	الصينية والكود والصينية والإنجليزية
PsyQA (تمت معالجته مسبقًا إلى نسخ متعددة، ومحاذاة التنسيق)	الاستشارة النفسية الصينية
حسناء	الصينية
بايز	محادثة صينية
المقاطع (التي تمت معالجتها مسبقًا إلى نسخ متعددة، ومحاذاة التنسيق)	الصينية

ملاحظة: تأتي البيانات من مجتمع المصادر المفتوحة ويمكن الوصول إليها من خلال الروابط.

4. كود التدريب والنصوص

مقدمة الكود والبرنامج النصي:

finetune.py : تعليمات لضبط كود التدريب التزايدي/البدء السريع
generate.py : رمز الاستدلال/الاختبار
scripts/ : تشغيل البرامج النصية
- على سبيل المثال: scripts/rerun-2-alpaca-13b-2.sh ، راجع scripts/README.md لشرح كل معلمة.

5. كيفية الاستخدام

5.1 تركيب البيئة

يرجى الرجوع إلى Alpaca-LoRA للحصول على التفاصيل والأسئلة ذات الصلة.

pip install -r requirements.txt

5.2 دمج وزن النموذج

دمج الوزن (مع أخذ alpaca-lora-13b كمثال):

 cd scripts/
bash merge-13b-alpaca.sh

معنى المعلمة (يرجى تعديل المسار ذي الصلة بنفسك):

--base_model ، وزن اللاما الأصلي
--lora_model ، وزن اللاما الصيني/الألبكة لورا
--output_dir ، المسار لإخراج أوزان الدمج

5.3 ضبط التعليمات (اختياري)

خذ عملية التدريب التالية كمثال لإظهار البرنامج النصي الجاري تشغيله.

يبدأ	f1	f2	f3
الصينية-ألبكة-لورا-13ب-بداية ساخنة، رقم التجربة: 2	البيانات: قطار اليراع-0	البيانات: COIG-part1، ترجمة COIG	البيانات: PsyQA-5

 cd scripts/
# 热启动f1
bash run-2-alpaca-13b-1.sh
# 增量训练f2
bash rerun-2-alpaca-13b-2.sh
bash rerun-2-alpaca-13b-2-2.sh
# 增量训练f3
bash rerun-2-alpaca-13b-3.sh

شرح المعلمات المهمة (يرجى تعديل المسارات ذات الصلة بنفسك):

للحصول على معلومات المسار الأساسية، يرجى الرجوع إلى Alpaca-LoRA.
انتبه إلى إضافة نص إعادة التشغيل عند كتابته بنفسك.
--resume_from_checkpoint '前一次执行的LoRA权重路径'
لا يلزم فقدان المدخلات، قم بتعديل --train_on_inputs False
حجم مجموعة الاختبار --val_set_size 2000 إذا كانت مجموعة البيانات نفسها صغيرة نسبيًا، فيمكن تقليلها بشكل مناسب، مثل 500، 200

5.4 الاستدلال/التقييم

لاحظ أنه إذا كنت تريد تنزيل الأوزان المضبوطة للاستدلال مباشرة، فيمكنك تجاهل 5.3 والمتابعة مباشرة إلى 5.4.

على سبيل المثال، أريد تقييم النتائج الدقيقة لـ rerun-2-alpaca-13b-2.sh :

1. تفاعل إصدار الويب:

 cd scripts/
bash generate-2-alpaca-13b-2.sh

2. الاستدلال المجمع وحفظ النتائج:

 cd scripts/
bash save-generate-2-alpaca-13b-2.sh

شرح المعلمات المهمة (يرجى تعديل المسارات ذات الصلة بنفسك):

--is_ui False : سواء كان إصدار الويب، فإن الإعداد الافتراضي هو True
--test_input_path 'xxx.json' : مسار تعليمات الإدخال
يتم حفظ نتائج الإخراج في test.json في دليل وزن LoRA المقابل افتراضيًا.

6. تقرير التقييم

يوجد حاليًا 8 أنواع من مهام الاختبار في عينات التقييم (سيتم تقييم الأخلاقيات العددية وحوار Duolun)، وتحتوي كل فئة على 10 عينات، ويتم تسجيل الإصدار الكمي 8 بت وفقًا للواجهة التي تستدعي GPT-4/GPT 3.5 ( النسخة غير الكمية لها درجة أعلى)، ويتم تسجيل كل عينة في نطاق من 0 إلى 10. راجع test_data/ للحصول على عينات التقييم.

6.1 موجه الاختبار

以下是五个类似 ChatGPT 的系统的输出。请以 10 分制为每一项打分，并给出解释以证明您的分数。输出结果格式为：System 分数；System 解释。
Prompt:xxxx。
答案：
System1:xxxx。
System2:xxxx。
System3:xxxx。
System4:xxxx。
System5:xxxx。

6.2 نقاط GPT-4

ملحوظة: التسجيل هو للإشارة فقط (مقارنة بـ GPT 3.5) يعتبر تسجيل GPT 4 أكثر دقة وأكثر مرجعية.

مهام الاختبار	مثال تفصيلي	عدد العينات	D13ب-1-3-1	D13b-2-2-2	D13b-2-3	D7b-4-1	ChatGPT
مجموع النقاط لكل عنصر	---	80	100	100	100	100	100
التوافه	01qa.json	10	80*	78	78	68	95
يترجم	02translate.json	10	77*	77*	77*	64	86
توليد النص	03generate.json	10	56	65*	55	61	91
تحليل المشاعر	04analyse.json	10	91	91	91	88*	88*
فهم القراءة	05understanding.json	10	74*	74*	74*	76.5	96.5
الخصائص الصينية	06chinese.json	10	69*	69*	69*	43	86
توليد الكود	07code.json	10	62*	62*	62*	57	96
الأخلاق، رفض الإجابة	08alignment.json	10	87*	87*	87*	71	95.5
المنطق الرياضي	(سيتم تقييمه)	--	--	--	--	--	--
جولات متعددة من الحوار	(سيتم تقييمه)	--	--	--	--	--	--

6.3 نقاط GPT-3.5

مهام الاختبار	مثال تفصيلي	عدد العينات	D13ب-1-3-1	D13b-2-2-2	D13b-2-3	D7b-4-1	ChatGPT
مجموع النقاط لكل عنصر	---	80	100	100	100	100	100
التوافه	01qa.json	10	65	64	63	67*	89
يترجم	02translate.json	10	79	81	82	89*	91
توليد النص	03generate.json	10	65	73*	63	71	92
تحليل المشاعر	04analyse.json	10	88*	91	88*	85	71
فهم القراءة	05understanding.json	10	75	77	76	85*	91
الخصائص الصينية	06chinese.json	10	82*	83	82*	40	68
توليد الكود	07code.json	10	72	74	75*	73	96
الأخلاق، رفض الإجابة	08alignment.json	10	71*	70	67	71*	94
المنطق الرياضي	(سيتم تقييمه)	--	--	--	--	--	--
جولات متعددة من الحوار	(سيتم تقييمه)	--	--	--	--	--	--

بشكل عام، يتمتع النموذج بأداء جيد في الترجمة ، وتحليل المشاعر ، وفهم القراءة ، وما إلى ذلك.

6.4 التسجيل اليدوي

سجل شخصان يدويًا ثم حصلا على المتوسط.

مهام الاختبار	مثال تفصيلي	عدد العينات	D13ب-1-3-1	D13b-2-2-2	D13b-2-3	D7b-4-1	ChatGPT
مجموع النقاط لكل عنصر	---	80	100	100	100	100	100
التوافه	01qa.json	10	83*	82	82	69.75	96.25
يترجم	02translate.json	10	76.5*	76.5*	76.5*	62.5	84
توليد النص	03generate.json	10	44	51.5*	43	47	81.5
تحليل المشاعر	04analyse.json	10	89*	89*	89*	85.5	91
فهم القراءة	05understanding.json	10	69*	69*	69*	75.75	96
الخصائص الصينية	06chinese.json	10	55*	55*	55*	37.5	87.5
توليد الكود	07code.json	10	61.5*	61.5*	61.5*	57	88.5
الأخلاق، رفض الإجابة	08alignment.json	10	84*	84*	84*	70	95.5
الأخلاق العددية	(سيتم تقييمه)	--	--	--	--	--	--
جولات متعددة من الحوار	(سيتم تقييمه)	--	--	--	--	--	--

7. محتوى تحديث الإصدار التالي

قائمة المهام:

التدريب على النص الطويل والقدرة على الحوار
قدرات إنشاء التعليمات البرمجية والنص
تطوير تطبيق حوار متعدد المنعطفات
بلوم الإطار الصيني
أنظمة وبرامج التقييم في مجموعة واسعة من المجالات

القيود وقيود الاستخدام وإخلاء المسؤولية

لا يزال نموذج SFT الذي تم تدريبه بناءً على البيانات الحالية والنماذج الأساسية يعاني من المشكلات التالية من حيث الفعالية:

قد تؤدي التعليمات الواقعية إلى إجابات غير صحيحة تتعارض مع الحقائق.
لا يمكن تحديد التعليمات الضارة بشكل صحيح، مما قد يؤدي إلى ملاحظات تمييزية وضارة وغير أخلاقية.
لا تزال قدرات النموذج بحاجة إلى التحسين في بعض السيناريوهات التي تتضمن الاستدلال والترميز وجولات متعددة من الحوار وما إلى ذلك.

بناءً على قيود النموذج أعلاه، نشترط أن يتم استخدام محتوى هذا المشروع والمشتقات اللاحقة الناتجة عن هذا المشروع فقط لأغراض البحث الأكاديمي ويجب عدم استخدامها لأغراض تجارية أو استخدامات تسبب ضررًا للمجتمع. لا يتحمل مطور المشروع أي ضرر أو خسارة أو مسؤولية قانونية ناجمة عن استخدام هذا المشروع (بما في ذلك على سبيل المثال لا الحصر البيانات والنماذج والأكواد وما إلى ذلك).

يقتبس

إذا كنت تستخدم الكود أو البيانات أو النماذج الخاصة بهذا المشروع، فيرجى ذكر هذا المشروع.

 @misc{DreamerGPT,
  author = {Hao Xu, Huixuan Chi, Yuanchen Bei and Danyang Liu},
  title = {DreamerGPT: Chinese Instruction-tuning for Large Language Model.},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/DreamerGPT/DreamerGPT}},
}