zero_nlp

صفر إلى البرمجة اللغوية العصبية

سمات

1. 目标: إنشاء إطار تدريبي خارج الصندوق للبرمجة اللغوية العصبية في المجال الصيني يعتمد على pytorch transformers ، وتوفير مجموعة كاملة من الحلول للتدريب ونماذج الضبط الدقيق (بما في ذلك النماذج الكبيرة، ومتجهات توجيه النص، وتوليد النص ، نماذج متعددة الوسائط ونماذج أخرى)؛
2. ؟数据:
   • لقد قمنا بتجميع بيانات تدريب ضخمة من مجتمع المصادر المفتوحة لمساعدة المستخدمين على البدء بسرعة؛
   • وفي الوقت نفسه، يتم أيضًا فتح قوالب بيانات التدريب، والتي يمكنها معالجة البيانات الميدانية الرأسية بسرعة؛
   • إلى جانب أساليب معالجة البيانات الأكثر كفاءة مثل الخيوط المتعددة ورسم خرائط الذاكرة، من السهل معالجة حتى百GB من البيانات؛
3. 流程: يحتوي كل مشروع على خطوات تدريب نموذجية كاملة، مثل: تنظيف البيانات، ومعالجة البيانات، وبناء النموذج، والتدريب على النموذج، ونشر النموذج، وتوضيح النموذج؛
4. 模型: يدعم حاليًا النماذج الكبيرة متعددة الوسائط مثل gpt2 ، clip ، و gpt-neox ، dolly ، و llama ، و chatglm-6b ، و VisionEncoderDecoderModel ، وما إلى ذلك؛
5. 多卡串联: في الوقت الحالي، يعد حجم معظم النماذج الكبيرة أكبر بكثير من ذاكرة الفيديو الخاصة ببطاقة رسومات واحدة من فئة المستهلك، ويجب توصيل بطاقات رسومات متعددة بشكل متسلسل لتدريب النماذج الكبيرة ونشرها. ولذلك تم تعديل بعض هياكل النموذج لتحقيق وظيفة سلسلة البطاقات المتعددة训练时推理时.
6. 模型工具: تمت إضافة البرنامج التعليمي词表裁切词表扩充للنماذج الكبيرة model_modify

جدول المحتويات

التدريب النموذجي

الاسم الصيني	اسم المجلد	بيانات	تنظيف البيانات	نموذج كبير	نشر النموذج	توضيح
تصنيف النص الصيني	chinese_classifier	✅	✅	✅		✅
gpt2 صيني	chinese_gpt2	✅	✅	✅	✅
clip صيني	chinese_clip	✅	✅	✅		✅
توليد الصور النص الصيني	VisionEncoderDecoderModel	✅	✅	✅		✅
مقدمة إلى كود المصدر الأساسي لـ vit	نموذج فيتامين					✅
Thu-ChatGlm-6b (الإصدار v1 قديم)	simple_thu_chatglm6b	✅	✅	✅	✅
?chatglm- v2 -6b?	chatglm_v2_6b_lora	✅	✅	✅
دوللي الصينية_ dolly_v2_3b	دوللي_v2_3b	✅	✅	✅
llama الصينية (عفا عليها الزمن)	chinese_llama	✅	✅	✅
bloom الصينية	chinese_bloom	✅	✅	✅
falcon الصيني (ملاحظة: نموذج الصقر يشبه هيكل الزهرة)	chinese_bloom	✅	✅	✅
كود التدريب المسبق الصيني	model_clm	✅	✅	✅
نموذج كبير من Baichuan	model_baichuan	✅	✅	✅	✅
تقليم النموذج✂️	model_modify	✅	✅	✅
توازي خط الأنابيب llama2	خط أنابيب	✅	✅	✅
Baichuan 2-7b-دردشة dpo	DPO baichuan2-7b-chat	✅	✅	✅
أثناء التدريب، تتغير نسبة البيانات	Train_data_sample	✅	✅	✅
interlm قاعدة sft	internlm-sft	✅	✅	✅
قطار كوين 2	Train_qwen2	✅	✅	✅	✅
قطار اللافا	Train_llava	✅	✅	✅	✅	✅

مقدمة المشروع تصحيح vllm

1. تقديم كيفية تصحيح أخطاء vllm، والحصول على فهم أكثر شمولاً لهندسة تصحيح الأخطاء vllm

مخطط تدفق البيانات

لقد شعرت دائمًا أن تدفق البيانات يتم التعبير عنه بشكل أوضح في شكل رسوم بيانية، لذلك سأبذل قصارى جهدي لرسم كل مهمة بشكل تخطيطي.

رسم توضيحي لبيانات تصنيف النص

جي بي تي 2 صيني

كليب صيني

توليد الصور النص الصيني

كود المصدر فيت

حصة المحولات تفسير التعليمات البرمجية المصدر

لقد كنت أقوم بتفسير الكود المصدري للمحولات. يمكنك الذهاب إلى المحطة B لمشاهدة فيديو Liangmulu Programmer.