ChatPLUG: Model Bahasa Besar yang Dipersonalisasi Tiongkok

Ini adalah repo untuk proyek ChatPLUG, yang bertujuan untuk membangun dan berbagi sistem dialog domain terbuka Tiongkok.

爱用emoji foto	富有智慧的得道高僧	cara bermain NPC

Berita

ChatPLUG-13B akan segera dirilis di ModelScope untuk penelitian.
[23/05/2023] Tambahkan panduan tentang pengambilan dan permainan peran
[2023/05/10] Tambahkan kode pelatihan, yang membantu melatih model khusus dan membuat chatbot dengan cepat dan mudah.
[2023/04/26] Coba Demo Online Role-Play-Chat kami di ModelScope Sekarang!
[2023/04/19] Tambahkan konten termasuk sorotan, hasil, dan batasan. Unggah model ke ModelScope.
[2023/04/16] Inisialisasi proyek.

Demo Daring

Obrolan Permainan Peran

Sorotan

lampu sorot

Dibandingkan dengan model sumber terbuka yang ada, kami menyoroti tiga fitur ChatPLUG sebagai berikut:

Augmentasi Pengetahuan

Mengintegrasikan pengetahuan eksternal selama inferensi bersifat fleksibel, dan ini merupakan masukan opsional. Anda dapat memanfaatkan search engine untuk memperoleh informasi terkini atau menggunakan basis pengetahuan lokal untuk memperoleh pengetahuan domain.

Personalisasi

Sangat mudah untuk menyesuaikan gaya percakapan dan karakter dengan mengatur bot profiles atau menggunakan role-paly instructions .

Multi Keterampilan

Ia menunjukkan kemahirannya dalam dialog domain terbuka melalui percakapan multi-turn, sekaligus menunjukkan multi-task abilities yang mengesankan pada berbagai tugas NLP.

Bagaimana cara menjalankannya

Kami menawarkan tiga metode untuk menggunakan atau terus mengembangkan ChatPLUG sebagai berikut:

	Memulai	Kesimpulan	Kereta	Menyebarkan
Lingkup Model	Mudah	✔️ Kli	Belum Siap	Belum Siap
Memeluk Wajah	Sedang	✔️ Kli	Belum Siap	Belum Siap
XDPX	Keras	✔️ Kli	✔️ Dukungan	✔️ Melayani

Lingkup Model

Anda dapat mengunduh dan menggunakan model ChatPLUG dari ModelScope.

Nama Model	URL
ObrolanPLUG-240M	ChatPLUG-开放域对话模型-240M
ObrolanPLUG-3.7B	ChatPLUG-开放域对话模型-3.7B

Memeluk Wajah

Segera hadir.

XDPX

XDPX adalah perpustakaan yang mudah digunakan, yang memungkinkan peneliti dan pengembang melatih model khusus dan membuat chatbot sendiri dengan cara yang efisien. Fungsionalitas lengkapnya memungkinkan solusi terpadu yang menyederhanakan proses kompleks. mulai cepat

Inferensi Sekali Klik

Saat menggunakan ChatPLUG-3.7B, Anda dapat mengatur core_chat_half_precision : true untuk menghemat memori.

 # Requirement
# in the dir of XDPX
cd XDPX
pip install -e .

# Download checkpoints
# in the same dir as the download.sh
cd ..
sh download.sh

# Inference
# in the dir of XDPX
cd XDPX
CUDA_VISIBLE_DEVICES=0 x-script fidchat_new chat_pipeline/chatplug_3.7B_sftv2.6.0_instruction.hjson
# input `#exit` and exit the terminal

Kereta Sekali Klik

Jika GPU Anda (misalnya A100、A10) mendukung bf16, setel deepspeed_bf16: true dan deepspeed_fp16: false , jika tidak, setel deepspeed_bf16: false dan deepspeed_fp16: true

 # 1. Download dataset from belle
# in ChatPLUG/data/belle dir
cd data/belle
git lfs install
git clone https://huggingface.co/datasets/BelleGroup/train_0.5M_CN

python process_belle_0.5M.py 
# $ls data/belle 
# train_0.jsonl dev.jsonl ...

# 2. Preprocess Data 
# in XDPX dir
x-prepro chat_pipeline/chatplug_prepro_sft_instruction.hjson
# $ls data/dialogue/sft/chatplug/belle_instruction 
# train_0.pt dev.pt

# 3. Training
# in XDPX dir
x-train chat_pipeline/chatplug_3.7B_train_sftv2.6.0_instruction.hjson

Penerapan Sekali Klik

Segera hadir.

Instalasi

Silakan merujuk ke Instalasi untuk instruksi instalasi.

Untuk panduan pengguna terperinci, silakan merujuk ke dokumentasi kami:

Panduan Pengguna
- Mulai Cepat
- Pengambilan
- Permainan Peran
Panduan Tingkat Lanjut
- Pendahuluan
- Pelatihan
- Mengembangkan
- Pertanyaan Umum

Kutipan

Jika Anda merasa proyek kami bermanfaat dalam pekerjaan Anda, harap kutip:

  @misc{tian2023chatplug,
        title={ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human}, 
        author={Junfeng Tian and Hehong Chen and Guohai Xu and Ming Yan and Xing Gao and Jianhai Zhang and Chenliang Li and Jiayi Liu and Wenshen Xu and Haiyang Xu and Qi Qian and Wei Wang and Qinghao Ye and Jiejing Zhang and Ji Zhang and Fei Huang and Jingren Zhou},
        year={2023},
        eprint={2304.07849},
        archivePrefix={arXiv},
        primaryClass={cs.CL}
  }

 @misc{plug2021,
  title = {{PLUG: Pre-training for Language Understanding and Generation}},
  author={ModelScope},
  publisher = {ModelScope},
  journal = {ModelScope repository},
  year = {2021},
  howpublished = {url{https://modelscope.cn/models/damo/nlp_plug_text-generation_27B/summary}},
}