tf2 トランスフォーマー チャットボット

TensorFlow 2 を使用した Transformer チャットボット

TensorFlow 2 の Transformer を使用してエンドツーエンドのチャットボットを構築します。blog.tensorflow.org で私のチュートリアルをチェックしてください。

アップデート

• 2022 年 6 月 16 日:
  • setup.shスクリプトを更新して、Apple Silicon バージョンの TensorFlow 2.9 をインストールします (冒険したい場合にのみこれを使用してください)。
  • model.save()またはtf.keras.models.save_model()を介してモデルを保存できるように、2 つのカスタム レイヤーPositionalEncodingとMultiHeadAttentionLayer更新しました。
  • train.py model.save()とtf.keras.models.load_model()を呼び出す方法を示しています。
• 2020 年 12 月 8 日: TensorFlow 2.3.1 および TensorFlow Datasets 4.1.0 へのサポートを更新しました。
• 2020 年 1 月 18 日: TensorFlow 2.1 で Google Colab TPU サポートを備えたノートブックを追加しました。

パッケージ

• TensorFlow 2.9.1
• TensorFlow データセット

設定

• 新しい anaconda 環境を作成し、環境chatbotを初期化します

   conda create -n chatbot python=3.8
  conda activate chatbot
  

• インストールスクリプトを実行する

   sh setup.sh
  

• 注: このスクリプトは、Linux システムにインストールする場合は conda 経由で CUDA と cuDNN をインストールし、Apple Silicon を搭載したデバイスにはtensorflow-metalインストールします (Apple Silicon GPU 上の TensorFlow には大量のバグがあることに注意してください。たとえば、Adam オプティマイザーが機能しません)。

データセット

• Cornell Movie-Dialogs Corpus によって提供される映画やテレビ番組内の会話を使用します。これには、10,000 組以上の映画の登場人物間の 22 万以上の会話が含まれています。
• 次の順序でデータセットを前処理します。
  • max_samples会話ペアをquestionsとanswersのリストに抽出します。
  • 各文内の特殊文字を削除して、各文を前処理します。
  • TensorFlow Datasets SubwordTextEncoder を使用してトークナイザー (テキストを ID にマッピングし、ID をテキストにマッピング) を構築します。
  • 各文をトークン化し、 start_tokenとend_tokenを追加して各文の開始と終了を示します。
  • max_lengthトークンを超える文をフィルターで除外します。
  • トークン化された文をmax_lengthまでパディングします
• dataset.py の実装を確認します。

モデル

• Multi-Headed Attendant、Positional Encoding、Transformer の実装については、model.py を確認してください。

走る

• 利用可能なすべてのフラグとハイパーパラメータを確認してくださいpython main.py --help

 python train.py --output_dir runs/save_model --batch_size 256 --epochs 50 --max_samples 50000

• 最終的にトレーニングされたモデルは、 runs/save_modelに保存されます。

サンプル

 input:		where have you been?
output:		i m not talking about that .

input:		it's a trap!
output:		no , it s not .