chatbot transformator tf2

Chatbot Transformator dengan TensorFlow 2

Buat chatbot end-to-end dengan Transformer di TensorFlow 2. Lihat tutorial saya di blog.tensorflow.org.

Pembaruan

• 16 Juni 2022:
  • Perbarui skrip setup.sh untuk menginstal TensorFlow 2.9 versi Apple Silicon (hanya gunakan ini jika Anda ingin bertualang).
  • Memperbarui dua lapisan khusus, PositionalEncoding dan MultiHeadAttentionLayer , untuk memungkinkan penyimpanan model melalui model.save() atau tf.keras.models.save_model() .
  • train.py menampilkan cara memanggil model.save() dan tf.keras.models.load_model() .
• 8 Des 2020: Pembaruan dukungan untuk TensorFlow 2.3.1 dan TensorFlow Datasets 4.1.0
• 18 Jan 2020: Menambahkan notebook dengan dukungan Google Colab TPU di TensorFlow 2.1.

Paket

• TensorFlow 2.9.1
• Kumpulan Data TensorFlow

Pengaturan

• buat lingkungan anaconda baru dan inisialisasi chatbot lingkungan

   conda create -n chatbot python=3.8
  conda activate chatbot
  

• jalankan skrip instalasi

   sh setup.sh
  

• Catatan: skrip akan menginstal CUDA dan cuDNN melalui conda jika diinstal pada sistem Linux, atau tensorflow-metal untuk perangkat dengan Apple Silicon (Perhatikan bahwa ada banyak sekali bug dengan TensorFlow pada GPU Apple Silicon, misalnya pengoptimal Adam tidak berfungsi).

Kumpulan data

• Kami akan menggunakan percakapan dalam film dan acara TV yang disediakan oleh Cornell Movie-Dialogs Corpus, yang berisi lebih dari 220 ribu pertukaran percakapan antara lebih dari 10 ribu pasang karakter film, sebagai kumpulan data kami.
• Kami melakukan pra-pemrosesan kumpulan data kami dalam urutan berikut:
  • Ekstrak pasangan percakapan max_samples ke dalam daftar questions dan answers .
  • Pra-proses setiap kalimat dengan menghapus karakter khusus di setiap kalimat.
  • Bangun tokenizer (petakan teks ke ID dan ID ke teks) menggunakan TensorFlow Datasets SubwordTextEncoder.
  • Tokenisasikan setiap kalimat dan tambahkan start_token dan end_token untuk menunjukkan awal dan akhir setiap kalimat.
  • Filter kalimat yang memiliki lebih dari max_length token.
  • Padukan kalimat yang diberi token ke max_length
• Periksa implementasi dataset.py.

Model

• periksa model.py untuk penerapan Multi-Headed Attention, Positional Encoding, dan Transformer.

Berlari

• periksa semua flag dan hyper-parameter yang tersedia python main.py --help

 python train.py --output_dir runs/save_model --batch_size 256 --epochs 50 --max_samples 50000

• model terakhir yang dilatih akan disimpan ke runs/save_model .

Sampel

 input:		where have you been?
output:		i m not talking about that .

input:		it's a trap!
output:		no , it s not .