対話生成におけるトランスフォーマー

中国語コーパスで必要なのはアテンションの実装だけです

このコードは、 Chatbot 、 Text Generationなどのダイアログ生成タスクに必要な Paper Attendance の実装です。
問題を提起し、解決に協力してくれたすべての友人に感謝します。あなたの貢献はこのプロジェクトの改善にとって非常に重要です。コーディングにおける「静的グラフ モード」のサポートが限定的であるため、機能を 2.0.0-beta1 バージョンに移行することにしました。ただし、バージョンの問題による Docker 構築やサービス作成の問題が心配な場合は、tensorflow 1.12.x バージョンを使用して Eager モードで記述されたコードの古いバージョンがまだ保持されていますので、参照してください。

書類

 |-- root/
    |-- data/
        |-- src-train.csv
        |-- src-val.csv
        |-- tgt-train.csv
        `-- tgt-val.csv
    |-- old_version/
        |-- data_loader.py
        |-- eval.py
        |-- make_dic.py
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- train.py
    |-- tf1.12.0-eager/
        |-- bleu.py
        |-- main.ipynb
        |-- modules.py
        |-- params.py
        |-- requirements.txt
        `-- utils.py
    |-- images/
    |-- bleu.py
    |-- main-v2.ipynb
    |-- modules-v2.py
    |-- params.py
    |-- requirements.txt
    `-- utils-v2.py

要件

• Numpy >= 1.13.1
• Tensorflow GPU == 1.12.0
• Tensorflow-GPU == 2.0.0-beta1
  • cudatoolkit >= 10.0
  • cudnn >= 7.4
  • nvidia cuda ドライバーのバージョン >= 410.x
• tqdm
• NLTK
• ジュピターノート

工事

ご存知のとおり、翻訳システムは、2 つの異なる文の一部を質問と回答に置き換えるだけで、会話モデルの実装に使用できます。結局のところ、「Sequence-to-Sequence」と呼ばれる基本的な会話モデルは翻訳システムから開発されています。したがって、対話を生成する際の会話モデルの効率を改善しないのはなぜでしょうか?

BERT ベースのモデルの開発により、継続的に更新される nlp タスクがますます増えています。ただし、言語モデルは BERT のオープンソース タスクには含まれていません。この道においては、まだ長い道のりがあることに疑いの余地はありません。

モデルの利点

トランスフォーマー モデルは、RNN や CNN の代わりにセルフアテンション層のスタックを使用して、可変サイズの入力を処理します。この一般的なアーキテクチャには、多くの利点と特別な点があります。では、それらを取り出してみましょう。

• データ全体の時間的/空間的関係については何も仮定しません。(ただし、これは AutoML によって確実ではないことが証明されました)
• レイヤーの出力は、RNN のような一連の計算ではなく、並列で計算できます。(より高速なトレーニング)
• 遠くにあるアイテムは、多くの RNN ステップや CNN レイヤーを通過することなく、互いの出力に影響を与えることができます。(低コスト)
• 対話システムの課題である長期にわたる依存関係を学習できます。

実装の詳細

コードの最新バージョンでは、論文で説明されている詳細を完成させます。

データ生成

• tfrecord を使用してデータ ストレージ形式を統一します。
• データセットを使用して、処理された中国語トークン データセットを読み込みます。

位置エンコーディング

• モデルには記憶メカニズムが含まれていないため、位置エンコーディングが追加され、同様の意味を持つトークンがそれぞれに近づく d 次元空間にトークンを表現することで、文内の単語の相対位置に関する情報が与えられます。他の。

マスク

• トレーニング中に 2 つの異なるタイプのマスクを作成します。 1 つはパディング マスキング用で、もう 1 つは、前のトークンを生成するときに後続のトークンを非表示にしておくためのデコーダーの先読みマスキング用です。

スケーリングされたドット積の注意

• トランスフォーマーによって使用されるアテンション関数は、Q、K、V の 3 つの入力を受け取ります。アテンションの重みを計算するために使用される方程式は、深さの平方根の係数によってスケールされます。

多頭注意

• マルチヘッド アテンションは、リニア レイヤー、マルチヘッド アテンション、ヘッドの連結、最終リニア レイヤーの 4 つの部分で構成されます。

ポイントワイズ フィードフォワード ネットワーク

• ポイントワイズ フィードフォワード ネットワークは、間に ReLU 活性化を挟んだ 2 つの完全に接続された層で構成されます。

学習率スケジュール

• 次のような式に従って、カスタム学習率スケジューラとともに adam オプティマイザーを使用します。

モデルの欠点

ただし、このような強力なアーキテクチャにはまだいくつかの欠点があります。

• 時系列の場合、タイム ステップの出力は、入力と現在の隠れ状態のみの履歴全体から計算されます (CRF と HMM の違いと同様)。そのため、効率が低下する可能性があります。
• 上記の最初の部分で述べたように、テキスト生成タスクなど、入力に時間的/空間的な関係がある場合、モデルはコンテキスト内で失われる可能性があります。

使用法

• 古いバージョン
  • ステップ 1. サンプルデータセットのような形式で対話コーパスをダウンロードし、 data/フォルダーに抽出します。
  • ステップ 2. 必要に応じて、 params.pyのハイパーパラメータを調整します。
  • ステップ 3. make_dic.pyを実行して、 dictionaryという名前の新しいフォルダーに語彙ファイルを生成します。
  • ステップ 4. train.pyを実行してモデルを構築します。チェックポイントはcheckpointフォルダーに保存されますが、tensorflow イベント ファイルはlogdirにあります。
  • ステップ 5. eval.pyを実行して、テスト データを使用して結果を評価します。結果はResultsフォルダーに保存されます。
• new_version(2.0 および 1.12.x (eager モードあり))
  • .ipynbに従ってtrain、eval、demoを実行します
    • トレーニング処理を高速化するためにGPU使用する場合は、コード内でデバイスを設定してください。(マルチワーカー トレーニングをサポートします)

結果

• デモ

 - Source: 肥 宅 初 夜 可 以 賣 多 少 `
- Ground Truth: 肥 宅 還 是 去 打 手 槍 吧
- Predict: 肥 宅 還 是 去 打 手 槍 吧

- Source: 兇 的 女 生 484 都 很 胸
- Ground Truth: 我 看 都 是 醜 的 比 較 凶
- Predict: 我 看 都 是 醜 的 比 較 

- Source: 留 髮 不 留 頭
- Ground Truth: 還 好 我 早 就 禿 頭 了
- Predict: 還 好 我 早 就 禿 頭 了

- Source: 當 人 好 痛 苦 R 的 八 卦
- Ground Truth: 去 中 國 就 不 用 當 人 了
- Predict: 去 中 國 就 不 會 有 了 -

- Source: 有 沒 有 今 天 捷 運 的 八 卦
- Ground Truth: 有 - 真 的 有 多
- Predict: 有 - 真 的 有 多

- Source: 2016 帶 走 了 什 麼 `
- Ground Truth: HellKitty 麥 當 勞 歡 樂 送 開 門 -
- Predict:  麥 當 勞 歡 樂 送 開 門 -

- Source: 有 沒 有 多 益 很 賺 的 八 卦
- Ground Truth: 比 大 型 包 裹 貴
- Predict: 比 大 型 包  貴

- Source: 邊 緣 人 收 到 地 震 警 報 了
- Ground Truth: 都 跑 到 窗 邊 了 才 來
- Predict: 都 跑 到  邊 了 才 來

- Source: 車 震
- Ground Truth: 沒 被 刪 版 主 是 有 眼 睛 der
- Predict: 沒 被 刪 版 主 是 有 眼 睛 der

- Source: 在 家 跌 倒 的 八 卦 `
- Ground Truth: 傷 到 腦 袋 - 可 憐
- Predict: 傷 到 腦 袋 - 可 憐

- Source: 大 家 很 討 厭 核 核 嗎 `
- Ground Truth: 核 核 欠 幹 阿
- Predict: 核 核 欠 幹 阿

- Source: 館 長 跟 黎 明 打 誰 贏 -
- Ground Truth: 我 愛 黎 明 - 我 愛 黎 明 -
- Predict: 我 愛  明 - 我 愛  明 -

- Source: 嘻 嘻 打 打
- Ground Truth: 媽 的 智 障 姆 咪 滾 喇 幹
- Predict: 媽 的 智 障 姆 咪 滾 喇 幹

- Source: 經 典 電 影 台 詞
- Ground Truth: 超 時 空 要 愛 裡 滿 滿 的 梗
- Predict: 超 時 空 要 愛 裡 滿 滿 滿 的

- Source: 2B 守 得 住 街 亭 嗎 `
- Ground Truth: 被 病 毒 滅 亡 真 的 會 -
- Predict:  守 得 住

比較

完全接続によるフィードフォワードを実装します。

• トレーニングの精度

• トレーニングロス

1 次元のみの畳み込みによるフィードフォワードを実装します。

• トレーニングの精度

• トレーニングロス

ヒント

AutoGraph を使用してトレーニング プロセスを高速化しようとする場合は、データセットが固定長にパディングされていることを確認してください。グラフの再構築操作がトレーニング中にアクティブ化されるため、パフォーマンスに影響を与える可能性があります。私たちのコードはバージョン 2.0 のパフォーマンスのみを保証しており、それより低いコードはそれを参照しようとすることができます。

参照

Transformer と Tensorflow に感謝します