tf2 變壓器聊天機器人

使用 TensorFlow 2 的 Transformer 聊天機器人

在 TensorFlow 2 中使用 Transformer 建立端到端聊天機器人。

更新

• 2022 年 6 月 16 日：
  • 更新setup.sh腳本以安裝 Apple Silicon 版本的 TensorFlow 2.9（僅當您喜歡冒險時才使用此腳本）。
  • 更新了兩個自訂層PositionalEncoding和MultiHeadAttentionLayer ，以允許透過model.save()或tf.keras.models.save_model()儲存模型。
  • train.py展示如何呼叫model.save()和tf.keras.models.load_model() 。
• 2020 年 12 月 8 日：更新了對 TensorFlow 2.3.1 和 TensorFlow 資料集 4.1.0 的支持
• 2020 年 1 月 18 日：在 TensorFlow 2.1 中新增了支援 Google Colab TPU 的筆記本。

套餐

• TensorFlow 2.9.1
• TensorFlow 資料集

設定

• 創建新的 anaconda 環境並初始化環境chatbot

   conda create -n chatbot python=3.8
  conda activate chatbot
  

• 運行安裝腳本

   sh setup.sh
  

• 注意：如果安裝在 Linux 系統上，該腳本將透過 conda 安裝 CUDA 和 cuDNN，如果安裝在 Apple Silicon 設備上，則腳本將透過 conda 安裝 CUDA 和 cuDNN（請注意，Apple Silicon GPU 上的tensorflow-metal有大量錯誤，例如Adam 優化器不起作用）。

數據集

• 我們將使用康乃爾電影對話語料庫提供的電影和電視節目中的對話作為我們的資料集，該語料庫包含超過 1 萬對電影角色之間的超過 22 萬條對話。
• 我們按以下順序預處理資料集：
  • 將max_samples個對話對提取到questions和answers清單中。
  • 透過刪除每個句子中的特殊字元來預處理每個句子。
  • 使用 TensorFlow 資料集 SubwordTextEncoder 建立分詞器（將文字對應到 ID 以及將 ID 對應到文字）。
  • 對每個句子進行分詞，加上start_token和end_token來表示每個句子的開始和結束。
  • 過濾掉具有超過max_length標記的句子。
  • 將標記化句子填入max_length
• 檢查 dataset.py 的實作。

模型

• 檢查 model.py 以了解多頭注意力、位置編碼和 Transformer 的實現。

跑步

• 檢查所有可用的標誌和超參數python main.py --help

 python train.py --output_dir runs/save_model --batch_size 256 --epochs 50 --max_samples 50000

• 最終訓練的模型將會儲存到runs/save_model 。

樣品

 input:		where have you been?
output:		i m not talking about that .

input:		it's a trap!
output:		no , it s not .