Chinese Chatbot PyTorch Implementation

? Xiaozhi、別の中国語チャットボット:yum:

? @Doragd が作成した中国語チャット ロボット、興味深い中国語コーパス qingyun を使用しています: Snowman:

• たとえ彼女がそこまで完璧ではないとしても :muscle: 、それほど素晴らしいわけでもない :paw_prints:

• しかし、彼女は私自身によってコード化されました:sparkling_heart:、

• この NLP 初心者とその友人たちをサポートするために、皆さんも星をもっとあげていただけませんか?

？背景

このプロジェクトは、実際にはソフトウェア エンジニアリング コース設計のサブモジュールです。私たちの目標は、インテリジェントな顧客サービス チケット処理システムを開発することです。

インテリジェントな顧客サービス作業指示システムの実際のワークフローは次のとおりです。ユーザーがシステムに質問すると、システムはまずナレッジ ベースを検索して関連する質問があるかどうかを確認し、存在する場合は質問に対する回答を返します。この時点で満足できない場合は、作業指示を直接送信できます。ナレッジベースに存在しない場合は、このチャットボットが呼び出されて自動応答されます。

このシステムのサービス シナリオは Tencent Cloud のカスタマー サービス システムと似ており、顧客は主に関連する問題 (クラウド サーバー、ドメイン名など) を相談しに来るため、ナレッジ ベースは相談とトラブルシューティング (質問、回答) のコレクションでもあります。クラウドサーバー、ドメイン名などについて。

システムのフロントエンド インターフェイスとフロントエンドとバックエンドのメッセージのやり取りは、別のクラスメート @adjlyadv によって、主に React+Django を使用して行われます。

@Doragd は、ナレッジ ベースの取得と、チャットボットの作成、トレーニング、テストを担当します。今回のレポの内容もこれに関するものです。

テスト効果

• ナレッジベースを使用せずに回答する

• ナレッジベースを使用して回答してください

• 全体的なシステム効果:

?プロジェクト構造

 │  .gitignore
│  config.py               #模型配置参数
│  corpus.pth              #已经过处理的数据集
│  dataload.py             #dataloader
│  datapreprocess.py       #数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            #训练和验证,测试
│  
├─checkpoints              
│      chatbot_0509_1437   #已经训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         #语料库
│      
├─QA_data
│      QA.db               #知识库
│      QA_test.py          #使用知识库时调用
│      stop_words.txt      #停用词
│      __init__.py
│      
└─utils
        beamsearch.py      #to do 未完工
        greedysearch.py    #贪婪搜索，用于测试
        __init__.py

?依存ライブラリ

依存関係をインストールする

$ pip install -r requirements.txt

?始めましょう

データの前処理（省略可能）

$ python datapreprocess.py

コーパスを前処理して corpus.pth を生成します ( corpus.pth はここにアップロードされているため、この手順は省略できます)

変更可能なパラメータ:

 # datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' #未处理的对话数据集
max_voc_length = 10000 #字典最大长度
min_word_appear = 10 #加入字典的词的词频最小值
max_sentence_length = 50 #最大句子长度
save_path = 'corpus.pth' #已处理的对话数据集保存路径

使用

• ナレッジベースを使用する

ナレッジ ベースを使用する場合は、パラメーターuse_QA_first=Trueこのとき、入力文字列に対して、最適な質問と回答が最初にナレッジ ベース内で照合され、返されます。見つからない場合は、チャットボットが呼び出され、自動的に応答が生成されます。

ここのナレッジ ベースは、Tencent Cloud 公式ドキュメントからまとめられた 100 のよくある質問と回答をテスト専用にまとめたものです。

$ python main.py chat --use_QA_first=True

• ナレッジベースを使用しない

もちろん設計上の必要性により、Tencent Cloud の質問と回答のペアが追加されていますが、チャット ロボット プロジェクトとは無関係であるため、一般的に使用される場合、 use_QA_first=False 、このパラメータのデフォルトはTrueです

$ python main.py chat --use_QA_first=False

• デフォルトのパラメータを使用する

$ python main.py chat

• チャットを終了する: exit 、 quit 、またはqを入力します。

その他の設定可能なパラメータ

config.pyファイルで説明する

新しいパラメータを渡す必要がある場合は、コマンド ラインから次の形式でパラメータを渡すだけです。

$ python main.py chat --model_ckpt= ' checkpoints/chatbot_0509_1437 ' --use_QA_first=False

上記のコマンドは、トレーニングされたモデルをロードするパスと、ナレッジ ベースを使用するかどうかを示します。

?技術的実装

コーパス

コーパス名	コーパスの数	コーパスソースの説明	コーパスの特徴	コーパスサンプル	分詞化されているかどうか
青雲 (青雲コーパス)	10W	チャットボットコミュニケーショングループ	比較的良好、生活に優しい	Q: お金が大好きのようですね A: そうですか。そうすれば、もうすぐそこです	いいえ

• 出典: https://github.com/codemayq/chinese_chatbot_corpus

シーケンス 2 シーケンス

• エンコーダー: 2 層双方向 GRU
• デコーダ: 二重層単方向 GRU

注意

• グローバル アテンション、ドットを使用してスコアを計算する
• 参照 https://arxiv.org/abs/1508.04025

?モデルのトレーニングと評価

$ python train_eval.py train [--options]

定量的な評価部分はまだ書かれておらず、現時点では文章を生成して品質を評価することしかできません。

$ python train_eval.py eval [--options]

?ピットジャンプの記録と概要

• 最も深い経験は、「​​深層学習の知識の理解と理解の間に、N 回のプログラミング実装のギャップがある」ということです。理論は誰にとっても非常に明白ですが、プログラミングの実装となると、データセットの処理から多くの数式のプログラミング実装、パラメータ調整、GPU 構成、その他の問題に至るまで、さまざまな問題が常に発生します。
• この実践の実際のプロセスは、PyTorch チュートリアルに従い、最初にチャットボット部分を実行した後、コーパスを変更し、コーパスを処理し、次にクラス スタイルに従ってコードをリファクタリングするという終わりのない作業でした。デバッグ プロセスでは、特にテンソルを GPU に移動するときに、さまざまな問題に遭遇しました。主に、何が (デバイスに) 移動されたのかが正確にわからないためです。
  • テストを通じて、model.to(device) はパラメーターを GPU に移動するだけで、クラスで定義されたメンバー テンソルは移動しないことがわかりました。そのため、forward メソッドで新しいテンソルを定義する場合は、それを移動することを忘れないでください。
  • 移動の順序の問題もあります。まずモデルを GPU に移動し、次にオプティマイザーを定義します。そして、移動メソッド:model=model.to(device)、値を割り当てることを忘れないでください。
  • GPU のメモリ不足が起こりやすくなります。コードを記述するときはメモリ使用量に注意し、テンソルの重複を最小限に抑えてください。
  • 最初に中国語コーパスを変更した後、学習は常に収束しませんでした。最終的には、batch_size の設定が小さすぎることがわかりました。実際には、ビデオ メモリが少ない場合は、batch_size をできるだけ大きくする必要があると感じました。実際、これは以前に見たことがありますが、コードを書いているときに完全に忘れていました。当時、ミニバッチを見たときはまだ理解が足りなかったのですが、少なくともバグは人の心に深く根付くことができます。
  • もう一つの問題は、torch.long を高精度浮動小数点だと勘違いしていたのですが、実際には int64 型だったので、何が起こっているのかを調べるのに時間がかかりました。これは、ドキュメントを注意深く読むように指示します。
  • 最終的に得られるのは、モデルを実際に実装する方法に慣れることであり、これは重要です。
• 実際、このモデルの効果は、モデル自体の問題とは別に、単語の分割の品質が文の品質に大きく影響することがわかりました。ただし、途中でストップワードを設定しなかった場合です。単語の分割を行うと、奇妙な結果が発生する可能性があります。
• もう一つの問題は、可変長シーケンスを扱う場合、損失関数を自分で定義すると不安定になりやすいことです。公式 API についてはまだ検討中です。
• 今回の演習では、いくつかのパラメーターについての理解が十分に深くなく、調整方法が分からなかったため、理論を補足する必要があることもわかりました。
• モデルの評価はまだ行う必要があります。

謝辞

• 公式チャットボットチュートリアル
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• 中国語コーパスの提供
  • https://github.com/codemayq/chinese_chatbot_corpus
• 内容は公式チャットボット チュートリアルと一致していますが、詳細なコード コメントが含まれています。
  • http://fancyerii.github.io/2019/02/14/chatbot/
• モデルさんの書き方や癖など参考にしてください。
  • https://github.com/chenyuntc/pytorch-book