ChatPLUG: 중국어 맞춤형 대형 언어 모델

이것은 중국 오픈 도메인 대화 시스템을 구축하고 공유하는 것을 목표로 하는 ChatPLUG 프로젝트의 저장소입니다.

爱사용 이모티콘 萌妹子 작은婉	富有智慧的得道高僧	会说古文의 3국 NPC关羽

소식

ChatPLUG-13B는 곧 연구를 위해 ModelScope에 출시될 예정입니다.
[2023/05/23] 검색 및 역할극에 대한 가이드 추가
[2023/05/10] 맞춤형 모델을 교육하고 챗봇을 빠르고 쉽게 구축하는 데 도움이 되는 교육 코드를 추가합니다.
[2023/04/26] 지금 ModelScope에서 역할극 채팅 온라인 데모를 사용해 보세요!
[2023/04/19] 스포트라이트, 결과, 제한사항을 포함한 콘텐츠를 추가하세요. ModelScope에 모델을 업로드합니다.
[2023/04/16] 프로젝트를 초기화합니다.

온라인 데모

역할극-채팅

스포트라이트

기존 오픈 소스 모델과 비교하여 ChatPLUG의 세 가지 기능을 다음과 같이 강조합니다.

지식 강화

추론 중에 외부 지식을 통합하는 것은 유연하며 이는 선택적인 입력입니다. search engine 활용하여 최신 정보를 얻거나 지역 지식 기반을 사용하여 도메인 지식을 얻을 수 있습니다.

개인화

bot profiles 설정하거나 role-paly instructions 사용하여 대화 및 캐릭터 스타일을 쉽게 사용자 정의할 수 있습니다.

멀티 스킬

다중 턴 대화를 통해 개방형 대화에 능숙함을 보여주는 동시에 광범위한 NLP 작업에서 인상적인 multi-task abilities 보여줍니다.

실행 방법

우리는 다음과 같이 ChatPLUG를 사용하거나 계속 개발하는 세 가지 방법을 제공합니다.

	시작하기	추론	기차	배포
모델 범위	쉬운	✔️클리	준비되지 않음	준비되지 않음
포옹얼굴	중간	✔️클리	준비되지 않음	준비되지 않음
XDPX	딱딱한	✔️클리	✔️ 지원	✔️ 서빙

모델범위

ModelScope에서 ChatPLUG 모델을 다운로드하여 사용할 수 있습니다.

모델명	URL
채팅PLUG-240M	ChatPLUG-开放域对话模型-240M
ChatPLUG-3.7B	ChatPLUG-开放域对话模型-3.7B

포옹얼굴

곧 출시됩니다.

XDPX

XDPX는 연구원과 개발자가 맞춤형 모델을 교육하고 효율적인 방식으로 자체 챗봇을 구축할 수 있는 사용하기 쉬운 라이브러리입니다. 올인원 기능을 통해 복잡한 프로세스를 단순화하는 원스톱 솔루션이 가능합니다. 빠른 시작

원클릭 추론

ChatPLUG-3.7B를 사용하는 경우 core_chat_half_precision : true 설정하여 메모리를 절약할 수 있습니다.

 # Requirement
# in the dir of XDPX
cd XDPX
pip install -e .

# Download checkpoints
# in the same dir as the download.sh
cd ..
sh download.sh

# Inference
# in the dir of XDPX
cd XDPX
CUDA_VISIBLE_DEVICES=0 x-script fidchat_new chat_pipeline/chatplug_3.7B_sftv2.6.0_instruction.hjson
# input `#exit` and exit the terminal

원클릭 열차

GPU(예: A100、A10)가 bf16을 지원하는 경우 deepspeed_bf16: true 및 deepspeed_fp16: false 로 설정하고, 그렇지 않으면 deepspeed_bf16: false 및 deepspeed_fp16: true 로 설정하세요.

 # 1. Download dataset from belle
# in ChatPLUG/data/belle dir
cd data/belle
git lfs install
git clone https://huggingface.co/datasets/BelleGroup/train_0.5M_CN

python process_belle_0.5M.py 
# $ls data/belle 
# train_0.jsonl dev.jsonl ...

# 2. Preprocess Data 
# in XDPX dir
x-prepro chat_pipeline/chatplug_prepro_sft_instruction.hjson
# $ls data/dialogue/sft/chatplug/belle_instruction 
# train_0.pt dev.pt

# 3. Training
# in XDPX dir
x-train chat_pipeline/chatplug_3.7B_train_sftv2.6.0_instruction.hjson

원클릭 배포

곧 출시됩니다.

설치

설치 지침은 설치를 참조하세요.

자세한 사용자 가이드는 다음 설명서를 참조하세요.

사용자 가이드
- 빠른 시작
- 검색
- 역할극
고급 가이드
- 소개
- 훈련
- 개발하다
- FAQ

인용

귀하의 업무에 우리 프로젝트가 유용하다고 생각하시면 다음을 인용해 주십시오.

  @misc{tian2023chatplug,
        title={ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human}, 
        author={Junfeng Tian and Hehong Chen and Guohai Xu and Ming Yan and Xing Gao and Jianhai Zhang and Chenliang Li and Jiayi Liu and Wenshen Xu and Haiyang Xu and Qi Qian and Wei Wang and Qinghao Ye and Jiejing Zhang and Ji Zhang and Fei Huang and Jingren Zhou},
        year={2023},
        eprint={2304.07849},
        archivePrefix={arXiv},
        primaryClass={cs.CL}
  }

 @misc{plug2021,
  title = {{PLUG: Pre-training for Language Understanding and Generation}},
  author={ModelScope},
  publisher = {ModelScope},
  journal = {ModelScope repository},
  year = {2021},
  howpublished = {url{https://modelscope.cn/models/damo/nlp_plug_text-generation_27B/summary}},
}