ChatPLUG: โมเดลภาษาจีนส่วนบุคคลขนาดใหญ่

นี่คือ repo สำหรับโครงการ ChatPLUG ซึ่งมีเป้าหมายเพื่อสร้างและแบ่งปันระบบการสนทนาแบบโอเพ่นโดเมนของจีน

爱用emoji的萌妹子小婉	富有智慧的得道高僧	会说古文的的三关羽

ข่าว

ChatPLUG-13B จะเปิดตัวบน ModelScope เพื่อการวิจัยเร็วๆ นี้
[2023/05/23] เพิ่มคำแนะนำเกี่ยวกับการดึงข้อมูลและบทบาทสมมติ
[2023/05/10] เพิ่มโค้ดการฝึกอบรม ซึ่งช่วยฝึกโมเดลที่กำหนดเองและสร้างแชทบอทได้อย่างรวดเร็วและง่ายดาย
[2023/04/26] ลองเล่นการสาธิตออนไลน์ตามบทบาทและแชทของเราใน ModelScope ทันที!
[2023/04/19] เพิ่มเนื้อหารวมถึงสปอตไลท์ ผลลัพธ์ และข้อจำกัด อัปโหลดโมเดลไปยัง ModelScope
[2023/04/16] เริ่มต้นโครงการ

การสาธิตออนไลน์

สวมบทบาท-แชท

สปอตไลท์

เมื่อเปรียบเทียบกับรุ่นโอเพ่นซอร์สที่มีอยู่ เราเน้นสามคุณสมบัติของ ChatPLUG ดังนี้:

เสริมความรู้

บูรณาการความรู้ภายนอกระหว่างการอนุมานได้อย่างยืดหยุ่น และนี่คืออินพุตเสริม คุณสามารถใช้ search engine เพื่อรับข้อมูลที่ทันสมัย หรือใช้ฐานความรู้ท้องถิ่นเพื่อรับความรู้ในโดเมน

การปรับเปลี่ยนในแบบของคุณ

ปรับแต่งสไตล์การสนทนาและตัวละครได้อย่างง่ายดายโดยการตั้งค่า bot profiles หรือใช้ role-paly instructions

ทักษะที่หลากหลาย

โดยแสดงให้เห็นถึงความเชี่ยวชาญในการสนทนาแบบเปิดโดเมนผ่านการสนทนาแบบสลับสับเปลี่ยนกัน ขณะเดียวกันก็แสดง multi-task abilities ที่น่าประทับใจในงาน NLP ที่หลากหลาย

วิ่งยังไง.

เรามีสามวิธีในการใช้หรือพัฒนา ChatPLUG ต่อไปดังนี้:

	เริ่มต้นใช้งาน	การอนุมาน	รถไฟ	ปรับใช้
โมเดลสโคป	ง่าย	✔️คลี	ไม่พร้อม	ไม่พร้อม
กอดใบหน้า	ปานกลาง	✔️คลี	ไม่พร้อม	ไม่พร้อม
XDPX	แข็ง	✔️คลี	✔️สนับสนุน	✔️เสิร์ฟ

โมเดลสโคป

คุณสามารถดาวน์โหลดและใช้โมเดล ChatPLUG ได้จาก ModelScope

ชื่อรุ่น	URL
แชทPLUG-240M	ChatPLUG-เริ่ม放域对话模型-240M
ChatPLUG-3.7B	ChatPLUG-เริ่ม放域对话模型-3.7B

กอดใบหน้า

เร็วๆ นี้.

XDPX

XDPX เป็นไลบรารีที่ใช้งานง่าย ซึ่งช่วยให้นักวิจัยและนักพัฒนาสามารถฝึกฝนโมเดลที่กำหนดเองและสร้างแชทบอทของตัวเองได้อย่างคล่องตัว ฟังก์ชันการทำงานแบบครบวงจรช่วยให้เกิดโซลูชันแบบครบวงจรที่ทำให้กระบวนการที่ซับซ้อนง่ายขึ้น เริ่มต้นอย่างรวดเร็ว

การอนุมานเพียงคลิกเดียว

เมื่อใช้ ChatPLUG-3.7B คุณสามารถตั้งค่า core_chat_half_precision : true เพื่อประหยัดหน่วยความจำ

 # Requirement
# in the dir of XDPX
cd XDPX
pip install -e .

# Download checkpoints
# in the same dir as the download.sh
cd ..
sh download.sh

# Inference
# in the dir of XDPX
cd XDPX
CUDA_VISIBLE_DEVICES=0 x-script fidchat_new chat_pipeline/chatplug_3.7B_sftv2.6.0_instruction.hjson
# input `#exit` and exit the terminal

รถไฟคลิกเดียว

หาก GPU ของคุณ (เช่น A100、A10) รองรับ bf16 ให้ตั้งค่า deepspeed_bf16: true และ deepspeed_fp16: false หรือมิฉะนั้นให้ตั้งค่า deepspeed_bf16: false และ deepspeed_fp16: true

 # 1. Download dataset from belle
# in ChatPLUG/data/belle dir
cd data/belle
git lfs install
git clone https://huggingface.co/datasets/BelleGroup/train_0.5M_CN

python process_belle_0.5M.py 
# $ls data/belle 
# train_0.jsonl dev.jsonl ...

# 2. Preprocess Data 
# in XDPX dir
x-prepro chat_pipeline/chatplug_prepro_sft_instruction.hjson
# $ls data/dialogue/sft/chatplug/belle_instruction 
# train_0.pt dev.pt

# 3. Training
# in XDPX dir
x-train chat_pipeline/chatplug_3.7B_train_sftv2.6.0_instruction.hjson

ปรับใช้เพียงคลิกเดียว

เร็วๆ นี้.

การติดตั้ง

โปรดดูการติดตั้งสำหรับคำแนะนำในการติดตั้ง

สำหรับคู่มือผู้ใช้โดยละเอียด โปรดดูเอกสารประกอบของเรา:

คู่มือผู้ใช้
- เริ่มต้นอย่างรวดเร็ว
- การเรียกคืน
- สวมบทบาท
คำแนะนำขั้นสูง
- บทนำ
- การฝึกอบรม
- พัฒนา
- คำถามที่พบบ่อย

การอ้างอิง

หากคุณพบว่าโครงการของเรามีประโยชน์ในการทำงานของคุณ โปรดอ้างอิง:

  @misc{tian2023chatplug,
        title={ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human}, 
        author={Junfeng Tian and Hehong Chen and Guohai Xu and Ming Yan and Xing Gao and Jianhai Zhang and Chenliang Li and Jiayi Liu and Wenshen Xu and Haiyang Xu and Qi Qian and Wei Wang and Qinghao Ye and Jiejing Zhang and Ji Zhang and Fei Huang and Jingren Zhou},
        year={2023},
        eprint={2304.07849},
        archivePrefix={arXiv},
        primaryClass={cs.CL}
  }

 @misc{plug2021,
  title = {{PLUG: Pre-training for Language Understanding and Generation}},
  author={ModelScope},
  publisher = {ModelScope},
  journal = {ModelScope repository},
  year = {2021},
  howpublished = {url{https://modelscope.cn/models/damo/nlp_plug_text-generation_27B/summary}},
}