ChatPLUG: نموذج لغة صيني كبير مخصص

هذا هو الريبو لمشروع ChatPLUG، الذي يهدف إلى بناء ومشاركة نظام حوار صيني مفتوح المجال.

爱用الرموز التعبيرية的萌妹子小婉	أفضل الأسعار	شخصيات الشخصيات غير القابلة للعب

أخبار

سيتم إصدار ChatPLUG-13B قريبًا على ModelScope للبحث.
[2023/05/23] أضف أدلة حول الاسترجاع ولعب الأدوار
[2023/05/10] أضف كودًا تدريبيًا يساعد في تدريب النماذج المخصصة وإنشاء روبوتات الدردشة بسرعة وسهولة.
[2023/04/26] جرّب العرض التجريبي للعب الأدوار والدردشة عبر الإنترنت في ModelScope الآن!
[2023/04/19] أضف محتوى يتضمن النقاط البارزة والنتائج والقيود. تحميل النماذج إلى ModelScope.
[2023/04/16] بدء المشروع.

العرض التوضيحي عبر الإنترنت

لعب الأدوار والدردشة

أضواء كاشفة

بالمقارنة مع النماذج مفتوحة المصدر الموجودة، فإننا نسلط الضوء على ثلاث ميزات لـ ChatPLUG على النحو التالي:

زيادة المعرفة

من المرن دمج المعرفة الخارجية أثناء الاستدلال، وهذا مدخل اختياري. يمكنك استخدام search engine للحصول على معلومات محدثة أو استخدام قاعدة معارف محلية للحصول على معرفة بالمجال.

التخصيص

من السهل تخصيص نمط المحادثات والشخصيات عن طريق تعيين bot profiles أو استخدام role-paly instructions .

مهارات متعددة

إنه يعرض كفاءته في الحوار المفتوح من خلال المحادثة متعددة الأدوار، بينما يعرض أيضًا multi-task abilities في مجموعة واسعة من مهام البرمجة اللغوية العصبية.

كيفية الجري

نحن نقدم ثلاث طرق لاستخدام أو مواصلة تطوير ChatPLUG على النحو التالي:

	ابدء	الاستدلال	يدرب	نشر
ModelScope	سهل	✔️ كلي	غير جاهز	غير جاهز
HuggingFace	واسطة	✔️ كلي	غير جاهز	غير جاهز
XDPX	صعب	✔️ كلي	✔️ الدعم	✔️ التقديم

ModelScope

يمكنك تنزيل نماذج ChatPLUG واستخدامها من ModelScope.

اسم النموذج	عنوان URL
ChatPLUG-240M	ChatPLUG-开放域对话模型-240M
ChatPLUG-3.7B	ChatPLUG-开放域对话模型-3.7B

HuggingFace

قريباً.

XDPX

XDPX هي مكتبة سهلة الاستخدام، تتيح للباحثين والمطورين تدريب النماذج المخصصة وإنشاء روبوتات الدردشة الخاصة بطريقة مبسطة. تتيح وظائفه الشاملة توفير حل شامل يبسط العمليات المعقدة. بداية سريعة

بنقرة واحدة الاستدلال

عند استخدام ChatPLUG-3.7B، يمكنك ضبط core_chat_half_precision : true لحفظ الذاكرة.

 # Requirement
# in the dir of XDPX
cd XDPX
pip install -e .

# Download checkpoints
# in the same dir as the download.sh
cd ..
sh download.sh

# Inference
# in the dir of XDPX
cd XDPX
CUDA_VISIBLE_DEVICES=0 x-script fidchat_new chat_pipeline/chatplug_3.7B_sftv2.6.0_instruction.hjson
# input `#exit` and exit the terminal

قطار بنقرة واحدة

إذا كانت وحدة معالجة الرسومات لديك (على سبيل المثال A100、A10) تدعم bf16، فاضبط deepspeed_bf16: true و deepspeed_fp16: false ، وإلا فاضبط deepspeed_bf16: false و deepspeed_fp16: true

 # 1. Download dataset from belle
# in ChatPLUG/data/belle dir
cd data/belle
git lfs install
git clone https://huggingface.co/datasets/BelleGroup/train_0.5M_CN

python process_belle_0.5M.py 
# $ls data/belle 
# train_0.jsonl dev.jsonl ...

# 2. Preprocess Data 
# in XDPX dir
x-prepro chat_pipeline/chatplug_prepro_sft_instruction.hjson
# $ls data/dialogue/sft/chatplug/belle_instruction 
# train_0.pt dev.pt

# 3. Training
# in XDPX dir
x-train chat_pipeline/chatplug_3.7B_train_sftv2.6.0_instruction.hjson

بنقرة واحدة نشر

قريباً.

تثبيت

يرجى الرجوع إلى التثبيت للحصول على تعليمات التثبيت.

للحصول على أدلة مستخدم مفصلة، يرجى الرجوع إلى وثائقنا:

أدلة المستخدم
- بداية سريعة
- استرجاع
- لعب الأدوار
أدلة متقدمة
- مقدمة
- تمرين
- يطور
- التعليمات

الاستشهادات

إذا وجدت مشروعنا مفيدا في عملك، يرجى ذكر:

  @misc{tian2023chatplug,
        title={ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human}, 
        author={Junfeng Tian and Hehong Chen and Guohai Xu and Ming Yan and Xing Gao and Jianhai Zhang and Chenliang Li and Jiayi Liu and Wenshen Xu and Haiyang Xu and Qi Qian and Wei Wang and Qinghao Ye and Jiejing Zhang and Ji Zhang and Fei Huang and Jingren Zhou},
        year={2023},
        eprint={2304.07849},
        archivePrefix={arXiv},
        primaryClass={cs.CL}
  }

 @misc{plug2021,
  title = {{PLUG: Pre-training for Language Understanding and Generation}},
  author={ModelScope},
  publisher = {ModelScope},
  journal = {ModelScope repository},
  year = {2021},
  howpublished = {url{https://modelscope.cn/models/damo/nlp_plug_text-generation_27B/summary}},
}