ChatPLUG: modelo de idioma grande personalizado em chinês

Este é o repositório do projeto ChatPLUG, que visa construir e compartilhar um sistema chinês de diálogo de domínio aberto.

爱用emoji的萌妹子小婉	富有智慧的得道高僧	会说古文的的三国NPC关羽

Notícias

ChatPLUG-13B será lançado em breve no ModelScope para pesquisa.
[2023/05/23] Adicionar guias sobre recuperação e dramatização
[2023/05/10] Adicione código de treinamento, que ajuda a treinar modelos personalizados e construir chatbots de forma rápida e fácil.
[2023/04/26] Experimente nossa demonstração online Role-Play-Chat no ModelScope agora!
[2023/04/19] Adicione conteúdo incluindo destaques, resultados e limitações. Carregue modelos para ModelScope.
[2023/04/16] Inicializar projeto.

Demonstração on-line

Role-Play-Chat

Destaques

holofotes

Em comparação com os modelos de código aberto existentes, destacamos três recursos do ChatPLUG como segue:

Aumento do Conhecimento

É flexível integrar conhecimento externo durante a inferência e esta é uma entrada opcional. Você pode utilizar um search engine para adquirir informações atualizadas ou usar uma base de conhecimento local para obter conhecimento do domínio.

Personalização

É fácil personalizar o estilo das conversas e dos personagens definindo bot profiles ou usando role-paly instructions .

Multi-habilidades

Ele exibe sua proficiência em diálogo de domínio aberto por meio de conversas múltiplas, ao mesmo tempo que exibe impressionantes multi-task abilities em uma ampla gama de tarefas de PNL.

Como correr

Oferecemos três métodos para usar ou continuar desenvolvendo o ChatPLUG da seguinte forma:

	Começando	Inferência	Trem	Implantar
ModelScope	Fácil	✔️ Cli	Não está pronto	Não está pronto
Abraçando o rosto	Médio	✔️ Cli	Não está pronto	Não está pronto
XDPX	Duro	✔️ Cli	✔️ Suporte	✔️ Servindo

ModelScope

Você pode baixar e usar modelos ChatPLUG do ModelScope.

Nome do modelo	URL
Bate-papoPLUG-240M	ChatPLUG-开放域对话模型-240M
Bate-papoPLUG-3.7B	ChatPLUG-开放域对话模型-3.7B

Abraçando o rosto

Em breve.

XDPX

XDPX é uma biblioteca fácil de usar que permite que pesquisadores e desenvolvedores treinem modelos customizados e construam seus próprios chatbots de maneira simplificada. Sua funcionalidade completa permite uma solução completa que simplifica processos complexos. início rápido

Inferência com um clique

Ao usar ChatPLUG-3.7B, você pode definir core_chat_half_precision : true para economizar memória.

 # Requirement
# in the dir of XDPX
cd XDPX
pip install -e .

# Download checkpoints
# in the same dir as the download.sh
cd ..
sh download.sh

# Inference
# in the dir of XDPX
cd XDPX
CUDA_VISIBLE_DEVICES=0 x-script fidchat_new chat_pipeline/chatplug_3.7B_sftv2.6.0_instruction.hjson
# input `#exit` and exit the terminal

Trem com um clique

Se sua GPU (por exemplo, A100, A10) suporta bf16, defina deepspeed_bf16: true e deepspeed_fp16: false , caso contrário, defina deepspeed_bf16: false e deepspeed_fp16: true

 # 1. Download dataset from belle
# in ChatPLUG/data/belle dir
cd data/belle
git lfs install
git clone https://huggingface.co/datasets/BelleGroup/train_0.5M_CN

python process_belle_0.5M.py 
# $ls data/belle 
# train_0.jsonl dev.jsonl ...

# 2. Preprocess Data 
# in XDPX dir
x-prepro chat_pipeline/chatplug_prepro_sft_instruction.hjson
# $ls data/dialogue/sft/chatplug/belle_instruction 
# train_0.pt dev.pt

# 3. Training
# in XDPX dir
x-train chat_pipeline/chatplug_3.7B_train_sftv2.6.0_instruction.hjson

Implantação com um clique

Em breve.

Instalação

Consulte Instalação para obter instruções de instalação.

Para guias do usuário detalhados, consulte nossa documentação:

Guias do usuário
- Início rápido
- Recuperação
- Role-play
Guias Avançados
- Introdução
- Treinamento
- Desenvolver
- Perguntas frequentes

Citações

Se você achar nosso projeto útil em seu trabalho, cite:

  @misc{tian2023chatplug,
        title={ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human}, 
        author={Junfeng Tian and Hehong Chen and Guohai Xu and Ming Yan and Xing Gao and Jianhai Zhang and Chenliang Li and Jiayi Liu and Wenshen Xu and Haiyang Xu and Qi Qian and Wei Wang and Qinghao Ye and Jiejing Zhang and Ji Zhang and Fei Huang and Jingren Zhou},
        year={2023},
        eprint={2304.07849},
        archivePrefix={arXiv},
        primaryClass={cs.CL}
  }

 @misc{plug2021,
  title = {{PLUG: Pre-training for Language Understanding and Generation}},
  author={ModelScope},
  publisher = {ModelScope},
  journal = {ModelScope repository},
  year = {2021},
  howpublished = {url{https://modelscope.cn/models/damo/nlp_plug_text-generation_27B/summary}},
}