生成对话的变压器

使用中文语料库，只需实现注意力机制即可

该代码是 Paper Attention 的实现，是对话生成任务所需的一切，例如：聊天机器人、文本生成等。
感谢每一位提出问题并帮助解决问题的朋友。您的贡献对于该项目的改进非常重要。由于编码中对“静态图模式”的支持有限，我们决定将功能移至 2.0.0-beta1 版本。不过，如果您担心 docker 构建和服务创建等版本问题带来的问题，我们仍然保留使用 tensorflow 1.12.x 版本通过 eager 模式编写的旧版本代码可供参考。

文件

 |-- root/
    |-- data/
        |-- src-train.csv
        |-- src-val.csv
        |-- tgt-train.csv
        `-- tgt-val.csv
    |-- old_version/
        |-- data_loader.py
        |-- eval.py
        |-- make_dic.py
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- train.py
    |-- tf1.12.0-eager/
        |-- bleu.py
        |-- main.ipynb
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- utils.py
    |-- images/
    |-- bleu.py
    |-- main-v2.ipynb
    |-- modules-v2.py
    |-- params.py
    |-- requirements.txt
    `-- utils-v2.py

要求

• Numpy >= 1.13.1
• 张量流 GPU == 1.12.0
• Tensorflow-GPU == 2.0.0-beta1
  • cuda工具包 >= 10.0
  • 库德恩 >= 7.4
  • nvidia cuda 驱动程序版本 >= 410.x
• 全面质量管理
• 尼特克
• Jupyter笔记本

建造

众所周知，翻译系统只需将两个不同句子的语法替换为问题和答案即可用于实现会话模型。毕竟，名为“序列到序列”的基本会话模型是从翻译系统发展而来的。那么，我们为什么不去提高对话模型生成对话的效率呢？

随着基于BERT的模型的发展，越来越多的nlp任务不断刷新。不过，BERT 的开源任务中并不包含该语言模型。毫无疑问，在这条路上我们还有很长的路要走。

型号优势

Transformer 模型使用自注意力层堆栈而不是 RNN 或 CNN 来处理可变大小的输入。这种通用架构有许多优点和特殊之处。现在让我们把它们拿出来：

• 它不对数据之间的时间/空间关系做出任何假设。（但是 AutoML 证明这一点并不确定）
• 层输出可以并行计算，而不是像 RNN 那样连续计算。（更快的训练）
• 远处的项目可以影响彼此的输出，而无需经过许多 RNN 步骤或 CNN 层。（成本较低）
• 它可以学习远程依赖关系，这是对话系统的一个挑战。

实施细节

在我们的代码的最新版本中，我们完成了论文中描述的细节。

数据生成

• 使用tfrecord统一数据存储格式。
• 使用 dataset 加载处理后的中文 token 数据集。

位置编码

• 由于该模型不包含任何记忆机制，因此添加了位置编码，通过将标记表示为 d 维空间，其中具有相似含义的标记将更接近每个标记，从而为其提供有关句子中单词相对位置的一些信息其他。

面具

• 我们在训练期间创建两种不同类型的面具。一个用于填充掩码，另一个用于解码器look_ahead掩码，以在生成前一个标记时保持后续标记不可见。

缩放点积注意力

• Transformer 使用的注意力函数需要三个输入：Q、K、V。用于计算注意力权重的方程是按深度的平方根因子缩放的：

多头注意力

• 多头注意力由四部分组成：线性层、多头注意力、头部串联和最终线性层。

逐点前馈网络

• 点式前馈网络由两个全连接层组成，中间有 ReLU 激活层。

学习率表

• 根据以下公式，将 adam 优化器与自定义学习率调度程序结合使用：

模型的缺点

然而，如此强大的架构仍然有一些缺点：

• 对于时间序列，时间步的输出是根据输入和当前隐藏状态的整个历史计算得出的（就像 CRF 和 HMM 之间的区别一样）。所以效率可能会比较低。
• 正如上面第一部分所述，如果输入确实具有时间/空间关系，例如文本生成任务，则模型可能会在上下文中丢失。

用法

• 旧版本
  • 步骤1.下载对话语料库，其格式类似于样本数据集，并将其解压到data/文件夹中。
  • 步骤 2. 如果需要，调整params.py中的超参数。
  • 步骤 3. 运行make_dic.py将词汇文件生成到名为dictionary的新文件夹中。
  • 步骤 4. 运行train.py来构建模型。检查点将存储在checkpoint文件夹中，而张量流事件文件可以在logdir中找到。
  • 步骤 5. 运行eval.py以使用测试数据评估结果。结果将存储在Results文件夹中。
• new_version（2.0 和 1.12.x，带有 eager 模式）
  • 按照 .ipynb 运行训练、评估和演示
    • 如果您使用GPU来加速训练处理，请在代码中设置您的设备。（它支持多人训练）

结果

• 演示

 - Source: 肥 宅 初 夜 可 以 賣 多 少 `
- Ground Truth: 肥 宅 還 是 去 打 手 槍 吧
- Predict: 肥 宅 還 是 去 打 手 槍 吧

- Source: 兇 的 女 生 484 都 很 胸
- Ground Truth: 我 看 都 是 醜 的 比 較 凶
- Predict: 我 看 都 是 醜 的 比 較 

- Source: 留 髮 不 留 頭
- Ground Truth: 還 好 我 早 就 禿 頭 了
- Predict: 還 好 我 早 就 禿 頭 了

- Source: 當 人 好 痛 苦 R 的 八 卦
- Ground Truth: 去 中 國 就 不 用 當 人 了
- Predict: 去 中 國 就 不 會 有 了 -

- Source: 有 沒 有 今 天 捷 運 的 八 卦
- Ground Truth: 有 - 真 的 有 多
- Predict: 有 - 真 的 有 多

- Source: 2016 帶 走 了 什 麼 `
- Ground Truth: HellKitty 麥 當 勞 歡 樂 送 開 門 -
- Predict:  麥 當 勞 歡 樂 送 開 門 -

- Source: 有 沒 有 多 益 很 賺 的 八 卦
- Ground Truth: 比 大 型 包 裹 貴
- Predict: 比 大 型 包  貴

- Source: 邊 緣 人 收 到 地 震 警 報 了
- Ground Truth: 都 跑 到 窗 邊 了 才 來
- Predict: 都 跑 到  邊 了 才 來

- Source: 車 震
- Ground Truth: 沒 被 刪 版 主 是 有 眼 睛 der
- Predict: 沒 被 刪 版 主 是 有 眼 睛 der

- Source: 在 家 跌 倒 的 八 卦 `
- Ground Truth: 傷 到 腦 袋 - 可 憐
- Predict: 傷 到 腦 袋 - 可 憐

- Source: 大 家 很 討 厭 核 核 嗎 `
- Ground Truth: 核 核 欠 幹 阿
- Predict: 核 核 欠 幹 阿

- Source: 館 長 跟 黎 明 打 誰 贏 -
- Ground Truth: 我 愛 黎 明 - 我 愛 黎 明 -
- Predict: 我 愛  明 - 我 愛  明 -

- Source: 嘻 嘻 打 打
- Ground Truth: 媽 的 智 障 姆 咪 滾 喇 幹
- Predict: 媽 的 智 障 姆 咪 滾 喇 幹

- Source: 經 典 電 影 台 詞
- Ground Truth: 超 時 空 要 愛 裡 滿 滿 的 梗
- Predict: 超 時 空 要 愛 裡 滿 滿 滿 的

- Source: 2B 守 得 住 街 亭 嗎 `
- Ground Truth: 被 病 毒 滅 亡 真 的 會 -
- Predict:  守 得 住

比较

通过全连接实现前馈。

• 训练准确度

• 训练损失

仅在一维上通过卷积实现前馈。

• 训练准确度

• 训练损失

尖端

如果您尝试使用AutoGraph来加快训练过程，请确保将数据集填充到固定长度。由于训练过程中会激活图重建操作，这可能会影响性能。我们的代码只保证2.0版本的性能，较低的可以尝试参考。

参考

感谢 Transformer 和 Tensorflow