zero_nlp

ศูนย์ถึง nlp

คุณสมบัติ

1. 目标: สร้างกรอบการฝึกอบรมนอกกรอบสำหรับ NLP ในสาขาภาษาจีนโดยอิงจาก pytorch และ transformers และจัดเตรียมโซลูชันครบชุดสำหรับการฝึกอบรมและการปรับแต่งโมเดลอย่างละเอียด (รวมถึงโมเดลขนาดใหญ่ เวกเตอร์การบังคับทิศทางข้อความ การสร้างข้อความ , มัลติโมดัลและรุ่นอื่น ๆ );
2. ?数据:
   • เราได้รวบรวมข้อมูลการฝึกอบรมจำนวนมากจากชุมชนโอเพ่นซอร์สเพื่อช่วยให้ผู้ใช้เริ่มต้นได้อย่างรวดเร็ว
   • ในเวลาเดียวกัน เทมเพลตข้อมูลการฝึกอบรมก็เปิดขึ้นเช่นกัน ซึ่งสามารถประมวลผลข้อมูลภาคสนามแนวตั้งได้อย่างรวดเร็ว
   • เมื่อรวมกับวิธีการประมวลผลข้อมูลที่มีประสิทธิภาพมากขึ้น เช่น มัลติเธรดและการแมปหน่วยความจำ ทำให้ง่ายต่อการประมวลผลข้อมูลแม้แต่百GB
3. 流程: แต่ละโปรเจ็กต์มีขั้นตอนการฝึกโมเดลที่สมบูรณ์ เช่น การล้างข้อมูล การประมวลผลข้อมูล การสร้างโมเดล การฝึกโมเดล การใช้โมเดล และภาพประกอบโมเดล
4. 模型: ปัจจุบันรองรับโมเดลขนาดใหญ่หลายรูปแบบ เช่น gpt2 , clip , gpt-neox , dolly , llama , chatglm-6b , VisionEncoderDecoderModel ฯลฯ ;
5. 多卡串联: ในปัจจุบัน ขนาดของรุ่นขนาดใหญ่ส่วนใหญ่จะใหญ่กว่าหน่วยความจำวิดีโอของกราฟิกการ์ดระดับผู้บริโภคเพียงตัวเดียว จำเป็นต้องเชื่อมต่อกราฟิกการ์ดหลายตัวเป็นอนุกรมเพื่อฝึกและใช้งานโมเดลขนาดใหญ่ ดังนั้น โครงสร้างแบบจำลองบางส่วนจึงได้รับการแก้ไขเพื่อให้ทราบถึงฟังก์ชันซีรีส์การ์ดหลายใบ训练时และ推理时
6. 模型工具: เพิ่ม词表裁切และบทช่วยสอน词表扩充สำหรับโมเดลขนาดใหญ่ model_modify

สารบัญ

การฝึกอบรมแบบจำลอง

ชื่อจีน	ชื่อโฟลเดอร์	ข้อมูล	การทำความสะอาดข้อมูล	รุ่นใหญ่	การปรับใช้โมเดล	ภาพประกอบ
การจำแนกข้อความภาษาจีน	จีน_ลักษณนาม
gpt2 ภาษาจีน	chinese_gpt2
clip จีน.	chinese_clip
ข้อความภาษาจีนการสร้างภาพ	VisionEncoderDecoderรุ่น
รู้เบื้องต้นเกี่ยวกับซอร์สโค้ดหลักของ vit	รุ่นวิท
Thu-ChatGlm-6b (เวอร์ชัน v1 ล้าสมัย)	simple_thu_chatglm6b
?chatglm- v2 -6b?	chatglm_v2_6b_lora
dolly_v2_3b จีน_v2_3b	ดอลลี่_v2_3b
llama จีน (ล้าสมัย)	chinese_llama
bloom จีน	จีน_บาน
falcon จีน (หมายเหตุ: โมเดลเหยี่ยวมีลักษณะคล้ายโครงสร้างบาน)	จีน_บาน
รหัส ก่อนการฝึก ภาษาจีน	model_clm
Baichuan รุ่นใหญ่	model_baichuan
ตัดแต่งโมเดล ️	model_modify
ความขนานของไปป์ไลน์ llama2	ไปป์ไลน์
Baichuan 2-7b-แชท dpo	อ.ส.ค. baichuan2-7b-แชท
ในระหว่างการฝึก สัดส่วนของข้อมูลจะเปลี่ยนไป	train_data_sample
internlm-base sft	internlm-sft
รถไฟ qwen2	train_qwen2
ฝึกลาวา	train_llava

แนะนำโปรเจ็กต์ดีบัก vllm

1. แนะนำวิธีการดีบัก vllm และมีความเข้าใจอย่างละเอียดมากขึ้นเกี่ยวกับการดีบักทางวิศวกรรม vllm vllm

แผนภาพการไหลของข้อมูล

ฉันรู้สึกมาโดยตลอดว่ากระแสข้อมูลแสดงออกมาอย่างชัดเจนที่สุดในรูปแบบของไดอะแกรม ดังนั้นฉันจะพยายามอย่างเต็มที่เพื่อสร้างไดอะแกรมทุกงาน

ภาพประกอบข้อมูลการจัดหมวดหมู่ข้อความ

GPT2 ภาษาจีน

คลิปจีน.

ข้อความภาษาจีนการสร้างภาพ

ซอร์สโค้ด vit

แบ่งปันการตีความซอร์สโค้ดของ Transformers

ฉันกำลังทำการตีความซอร์สโค้ดของหม้อแปลง คุณสามารถไปที่สถานี B เพื่อดูวิดีโอของ Liangmulu Programmer