Chinese Chatbot PyTorch Implementation

? 小智，又一個中文聊天機器人:yum:

?利用有趣的中文語料庫qingyun，由@Doragd 同學編寫的中文聊天機器人:snowman:

• 儘管她不是那麼完善:muscle:，不是那麼出色:paw_prints:

• 但她是由我自己coding出來的:sparkling_heart: ，所以

• 希望大家能夠多多star支持這個NLP初學者?和他的朋友? 小智

?背景

這個專案實際上是軟體工程課程設計的子模組。我們的目標是開發一個智慧客服工單處理系統。

智慧客服工單系統實際的工作流程是：當人們向系統發出提問時，系統首先去知識庫中查找是否存在相關問題，如果有，則返回問題的答案，此時如何人不滿意，則可以直接提交工單。如果知識庫中不存在，則呼叫這個聊天機器人進行自動回覆。

此系統服務的場景類似騰訊雲的客服系統，客戶多是來諮詢相關問題的(雲端伺服器，網域等)，所以知識庫也是有關雲端伺服器，網域名稱等的諮詢，故障處理的(問題,答案) 集合。

系統的前端介面和前後端訊息互動由另一位同學@adjlyadv 完成，主要採用React+Django方式。

@Doragd 同學負責的是知識庫的獲取和聊天機器人的編寫，訓練，測試。這個repo的內容也是關於這個的。

?測試效果

• 不使用知識庫進行回答

• 使用知識庫進行回答

• 整個系統效果：

?項目結構

 │  .gitignore
│  config.py               #模型配置参数
│  corpus.pth              #已经过处理的数据集
│  dataload.py             #dataloader
│  datapreprocess.py       #数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            #训练和验证,测试
│  
├─checkpoints              
│      chatbot_0509_1437   #已经训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         #语料库
│      
├─QA_data
│      QA.db               #知识库
│      QA_test.py          #使用知识库时调用
│      stop_words.txt      #停用词
│      __init__.py
│      
└─utils
        beamsearch.py      #to do 未完工
        greedysearch.py    #贪婪搜索，用于测试
        __init__.py

?依賴庫

安裝依賴

$ pip install -r requirements.txt

?開始使用

資料預處理(可省略)

$ python datapreprocess.py

對語料庫進行預處理，產生corpus.pth （這裡已經上傳好corpus.pth, 故此步可以省略）

可修改參數:

 # datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' #未处理的对话数据集
max_voc_length = 10000 #字典最大长度
min_word_appear = 10 #加入字典的词的词频最小值
max_sentence_length = 50 #最大句子长度
save_path = 'corpus.pth' #已处理的对话数据集保存路径

使用

• 使用知識庫

使用知識庫時, 需要傳入參數use_QA_first=True此時，對於輸入的字串，首先在知識庫中匹配最佳的問題和答案，並返回。找不到時，才呼叫聊天機器人自動產生回應。

這裡的知識庫是爬取整理的騰訊雲官方文件中的常見問題和答案，100條，僅用於測試！

$ python main.py chat --use_QA_first=True

• 不使用知識庫

由於課程設計需要，加入了騰訊雲的問題答案對，但對於聊天機器人這個專案來說是無關緊要的，所以一般使用時， use_QA_first=False ，該參數預設為True

$ python main.py chat --use_QA_first=False

• 使用預設參數

$ python main.py chat

• 退出聊天：輸入exit , quit , q均可

其他可配置參數

在config.py檔中說明

需要傳入新的參數時，只需要命令列傳入即可，形如

$ python main.py chat --model_ckpt= ' checkpoints/chatbot_0509_1437 ' --use_QA_first=False

上面的命令指出了載入已訓練模型的路徑和是否使用知識庫

?技術實現

語料庫

語料名稱	語料數量	語料來源說明	語料特點	語料範例	是否已分詞
qingyun（青雲語料）	10W	某聊天機器人交流群	相對不錯，生活化	Q:看來你很愛錢A:噢是嗎？那你也差不多了	否

• 資料來源：https://github.com/codemayq/chinese_chatbot_corpus

Seq2Seq

• Encoder：兩層雙向GRU
• Decoder：雙層單向GRU

Attention

• Global attention，採用dot計算分數
• Ref. https://arxiv.org/abs/1508.04025

?模型訓練與評估

$ python train_eval.py train [--options]

定量評估部分暫時還沒寫好，應該採用困惑度來衡量，目前只能產生句子，人為評估品質

$ python train_eval.py eval [--options]

?跳坑記錄與總結

• 最深刻的體會就是「深度學習知識的了解和理解之間差了N個程式實現」。雖然理論大家都很清楚，但是真正到程式實現時，總是會出這樣，那樣的問題：從資料集的處理，到許多公式的程式實現，到參數的調節，GPU配置等等各種問題
• 這次實踐的過程實際上是跟著PyTorch Tutorial先過了一遍Chatbot部分，跑通以後，再更換語料庫，處理語料庫，再按照類的風格去重構了代碼，然後就是無盡的Debug過程，遇到了很多坑，尤其是把張量移到GPU上遇到各種問題，主要是不清楚to(device)時究竟移動了哪些。
  • 透過測試發現，model.to(device)只會把參數移到GPU，不會把類別中定義的成員tensor移過去，所以如果在forward方法中定義了新的張量，要記得移動。
  • 還有就是移動的順序問題：先把模型移到GPU，再去定義最佳化器。以及移動的方法：model=model.to(device)，不要忘記賦值。
  • 容易出現GPU顯存不足的情況，注意寫入程式碼時要考慮記憶體使用率問題，盡量減少重複tensor。
  • 在一開始更換中文語料庫後，訓練總是不收斂，最後才發現原來是batch_size設定小了，實際上我感覺batch_size在顯存足夠時要盡量大，其實之前看到過，只是寫程式碼的時候完全忘記這回事了。說明自己當時看mini-batch時還不夠理解，還是要真的寫程式碼才能夠深入人心，至少bug深入人心
  • 還有一個問題就是誤解了torch.long，以為是高精準度浮點，結果是int64型，造成了一個bug，找了好久才發現怎麼回事。這告訴我們要認真看文件。
  • 最後的收穫就是熟悉如何實際實現一個模型，這很重要。
• 實際上這個模型的效果不是很好，除開模型本身的問題不談，我發現分詞的質量會嚴重影響句子的質量，但是分詞時我連停用詞還沒設置，會出現一些奇特的結果
• 還有一個問題是處理變長序列時，損失函數如果用自己定義的，很容易出現不穩定狀況，現在還在研究官方API
• 本次實踐也發現自己對某些參數理解還不夠深，不知道怎麼調，還要補理論。
• 模型的評估這部分還要繼續做。

致謝

• 官方的Chatbot Tutorial
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• 提供中文語料庫
  • https://github.com/codemayq/chinese_chatbot_corpus
• 與官方的Chatbot Tutorial內容一致，但是有詳盡的程式碼註釋
  • http://fancyerii.github.io/2019/02/14/chatbot/
• 模型的寫法與習慣皆參考
  • https://github.com/chenyuntc/pytorch-book