OpenDialog

OpenDialog

我們現在擁有了測試介面了，搜尋微信公眾號OpenDialog可以使用

OpenDialog建立在基於PyTorch的transformers之上。 提供一系列transformer-based的中文開放域對話模型（閒聊對話），網羅已有的資料資源並持續不斷的補充對應的中文對話系統的資料集，意圖建立一個開源的中文閒聊對話平台。

最新進展：

• 2020.8.20, 完成LCCC-GPT-Large生成式Open-Domain預訓練模型的接口，運行下面程式碼可以啟動對應的服務

  ./run_flask lccc < gpu_id >

• 2020.10.26, 完成一批bi-encoder的檢索式對話模型(bert-bi-encoder, polyencoder等)

• ……

使用教程

1. 專案結構與文件簡述

OpenDialog核心檔案與目錄:

• data : 資料集，配置文件，詞表，詞向量，資料集處理腳本
• models : 對話模型
• metrics : 評價指標
• multiview : 多角度重排模型，針對獲得對話候選回復進行重排序
• ckpt : 存放訓練模型
• rest : 存放tensorboard日誌和test階段產生的結果文件
• utils : 存放工具函數
• dataloader.py : 資料集載入腳本
• main.py : 主運行文件
• header.py : 需要導入的package
• eval.py : 呼叫metrics中的評價指標的評估腳本，測試rest中產生檔案的結果
• run.sh : 執行批次腳本
• run_flask.sh : 呼叫模型，啟動服務

2. 準備環境

1. 基礎系統環境: Linux/Ubuntu-16.04+ , Python 3.6+ , GPU (default 1080 Ti)

2. 安裝python依賴函式庫

pip install -r requirements.txt

3. 安裝ElasticSearch

   基於檢索的對話系統需要先使用elasticsearch進行粗篩。同時為了實現粗篩檢索階段的中文分詞，同時需要下載安裝中文分詞器

4. 安裝mongodb

   啟動服務之後，會使用mongodb儲存會話歷史和必要的數據

3. 準備數據

1. 資料集百度雲連結: https://pan.baidu.com/s/1xJibJmOOCGIzmJVC6CZ39Q; 提取碼: vmua
2. 將對應的資料檔案存放在data目錄下對應的子目錄中，詞向量檔案chinese_w2v.txt和english_w2v.bin存放在data下即可。
3. 資料細節和預處理資料詳見data/README.md 。
4. 可用的數據集

5. 訓練模型

• 訓練模型支援多GPU並行，只需要<gpu_ids>指定多個gpu id即可，例如0,1,2,3
• dataset名稱和data目錄下的名稱一致

Model	CMD	Type	Details	Refer	Pre-train Model
bertretrieval	./run.sh train <dataset> bertretrieval <gpu_ids>	retrieval	基於bert的精排模型(fine-tuning)	Paper
gpt2	./run.sh train <dataset> gpt2 <gpu_ids>	generative	GPT2生成式對話模型	Code
gpt2gan	./run.sh train <dataset> gpt2gan <gpu_ids>	generative	GAN-based對話模型，生成式模型是GPT2，判別模型是bert二分類模型	Paper

6. 實驗結果

7. 啟動flask服務

1. 啟動flask服務

    ./run_flask.sh <model_name> <gpu_id>
   

2. 呼叫介面

   • 微信公眾號
   • postman