ChatPLUG: 中国語のパーソナライズされた大規模言語モデル

これは、中国のオープンドメイン対話システムを構築して共有することを目的とした ChatPLUG プロジェクトのリポジトリです。

愛情用絵文字的萌妹子小婉	富有智慧的得道高僧	会说古文的三国NPC关羽

ニュース

ChatPLUG-13B は研究用に ModelScope でまもなくリリースされる予定です。
[2023/05/23] 検索とロールプレイに関するガイドを追加
[2023/05/10] カスタムモデルをトレーニングし、チャットボットを迅速かつ簡単に構築するのに役立つトレーニングコードを追加しました。
[2023/04/26] ModelScope のロールプレイチャットオンラインデモを今すぐお試しください。
[2023/04/19] スポットライト、結果、制限事項を含むコンテンツを追加しました。モデルを ModelScope にアップロードします。
[2023/04/16] プロジェクトを初期化します。

オンラインデモ

ロールプレイチャット

スポットライト

既存のオープンソースモデルと比較して、ChatPLUG の 3 つの機能を次のように強調します。

知識の増強

推論中に外部の知識を柔軟に統合でき、これはオプションの入力です。 search engine利用して最新情報を取得したり、ローカルのナレッジベースを利用してドメインの知識を取得したりできます。

パーソナライゼーション

bot profiles設定したり、 role-paly instructionsを使用したりすることで、会話やキャラクターのスタイルを簡単にカスタマイズできます。

マルチスキル

マルチターン会話を通じてオープンドメインの対話における習熟度を発揮すると同時に、幅広い NLP タスクで優れたmulti-task abilitiesも発揮します。

走り方

ChatPLUG を使用または開発を継続するために、次の 3 つの方法を提供します。

	はじめる	推論	電車	展開する
モデルスコープ	簡単	✔️クリ	準備ができていません	準備ができていません
ハグ顔	中くらい	✔️クリ	準備ができていません	準備ができていません
XDPX	難しい	✔️クリ	✔️サポート	✔️ サービング

モデルスコープ

ChatPLUG モデルは ModelScope からダウンロードして使用できます。

モデル名	URL
チャットプラグ-240M	ChatPLUG-开放域对话モデル-240M
チャットプラグ-3.7B	ChatPLUG-开放域对话モデル-3.7B

ハグ顔

近日公開。

XDPX

XDPX は使いやすいライブラリであり、研究者や開発者がカスタムモデルをトレーニングし、合理的な方法で独自のチャットボットを構築できるようにします。オールインワン機能により、複雑なプロセスを簡素化するワンストップソリューションが可能になります。クイックスタート

ワンクリック推論

ChatPLUG-3.7B を使用する場合は、 core_chat_half_precision : trueを設定してメモリを節約できます。

 # Requirement
# in the dir of XDPX
cd XDPX
pip install -e .

# Download checkpoints
# in the same dir as the download.sh
cd ..
sh download.sh

# Inference
# in the dir of XDPX
cd XDPX
CUDA_VISIBLE_DEVICES=0 x-script fidchat_new chat_pipeline/chatplug_3.7B_sftv2.6.0_instruction.hjson
# input `#exit` and exit the terminal

ワンクリックトレイン

GPU (例: A100、A10) が bf16 をサポートしている場合は、 deepspeed_bf16: true true およびdeepspeed_fp16: falseを設定します。それ以外の場合はdeepspeed_bf16: falseおよびdeepspeed_fp16: trueを設定します。

 # 1. Download dataset from belle
# in ChatPLUG/data/belle dir
cd data/belle
git lfs install
git clone https://huggingface.co/datasets/BelleGroup/train_0.5M_CN

python process_belle_0.5M.py 
# $ls data/belle 
# train_0.jsonl dev.jsonl ...

# 2. Preprocess Data 
# in XDPX dir
x-prepro chat_pipeline/chatplug_prepro_sft_instruction.hjson
# $ls data/dialogue/sft/chatplug/belle_instruction 
# train_0.pt dev.pt

# 3. Training
# in XDPX dir
x-train chat_pipeline/chatplug_3.7B_train_sftv2.6.0_instruction.hjson

ワンクリックで導入

近日公開。

インストール

インストール手順については、「インストール」を参照してください。

詳細なユーザーガイドについては、次のドキュメントを参照してください。

ユーザーガイド
- クイックスタート
- 検索
- ロールプレイ
上級ガイド
- イントロ
- トレーニング
- 開発する
- よくある質問

引用

私たちのプロジェクトがあなたの仕事に役立つと思われる場合は、次のように引用してください。

  @misc{tian2023chatplug,
        title={ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human}, 
        author={Junfeng Tian and Hehong Chen and Guohai Xu and Ming Yan and Xing Gao and Jianhai Zhang and Chenliang Li and Jiayi Liu and Wenshen Xu and Haiyang Xu and Qi Qian and Wei Wang and Qinghao Ye and Jiejing Zhang and Ji Zhang and Fei Huang and Jingren Zhou},
        year={2023},
        eprint={2304.07849},
        archivePrefix={arXiv},
        primaryClass={cs.CL}
  }

 @misc{plug2021,
  title = {{PLUG: Pre-training for Language Understanding and Generation}},
  author={ModelScope},
  publisher = {ModelScope},
  journal = {ModelScope repository},
  year = {2021},
  howpublished = {url{https://modelscope.cn/models/damo/nlp_plug_text-generation_27B/summary}},
}