tf2 变压器聊天机器人

使用 TensorFlow 2 的 Transformer 聊天机器人

在 TensorFlow 2 中使用 Transformer 构建端到端聊天机器人。在 blog.tensorflow.org 上查看我的教程。

更新

• 2022 年 6 月 16 日：
  • 更新setup.sh脚本以安装 Apple Silicon 版本的 TensorFlow 2.9（仅当您喜欢冒险时才使用此脚本）。
  • 更新了两个自定义层PositionalEncoding和MultiHeadAttentionLayer ，以允许通过model.save()或tf.keras.models.save_model()保存模型。
  • train.py展示了如何调用model.save()和tf.keras.models.load_model() 。
• 2020 年 12 月 8 日：更新了对 TensorFlow 2.3.1 和 TensorFlow 数据集 4.1.0 的支持
• 2020 年 1 月 18 日：在 TensorFlow 2.1 中添加了支持 Google Colab TPU 的笔记本。

套餐

• TensorFlow 2.9.1
• TensorFlow 数据集

设置

• 创建新的 anaconda 环境并初始化环境chatbot

   conda create -n chatbot python=3.8
  conda activate chatbot
  

• 运行安装脚本

   sh setup.sh
  

• 注意：如果安装在 Linux 系统上，该脚本将通过 conda 安装 CUDA 和 cuDNN，如果安装在 Apple Silicon 设备上，则脚本将通过 conda 安装 CUDA 和 cuDNN（请注意，Apple Silicon GPU 上的tensorflow-metal有大量错误，例如 Adam 优化器不起作用）。

数据集

• 我们将使用康奈尔电影对话语料库提供的电影和电视节目中的对话作为我们的数据集，该语料库包含超过 1 万对电影角色之间的超过 22 万条对话。
• 我们按以下顺序预处理数据集：
  • 将max_samples个对话对提取到questions和answers列表中。
  • 通过删除每个句子中的特殊字符来预处理每个句子。
  • 使用 TensorFlow 数据集 SubwordTextEncoder 构建分词器（将文本映射到 ID 以及将 ID 映射到文本）。
  • 对每个句子进行分词，添加start_token和end_token来表示每个句子的开始和结束。
  • 过滤掉具有超过max_length标记的句子。
  • 将标记化句子填充到max_length
• 检查 dataset.py 的实现。

模型

• 检查 model.py 以了解多头注意力、位置编码和 Transformer 的实现。

跑步

• 检查所有可用的标志和超参数python main.py --help

 python train.py --output_dir runs/save_model --batch_size 256 --epochs 50 --max_samples 50000

• 最终训练的模型将保存到runs/save_model 。

样品

 input:		where have you been?
output:		i m not talking about that .

input:		it's a trap!
output:		no , it s not .