seq2seq chatbot

seq2seq-chatbot

Implementasi chatbot sequence2sequence dengan TensorFlow.

Lihat petunjuk untuk memulai di bawah, atau lihat beberapa log obrolan

Mengobrol dengan model terlatih

Untuk mengobrol dengan model terlatih dari direktori model:

(File batch hanya tersedia untuk windows saat ini. Untuk pengguna mac dan linux lihat instruksi di bawah untuk konsol python.)

1. Pastikan model ada di direktori model (untuk memulai, unduh dan unzip train_model_v2 ke dalam folder seq2seq-chatbot/models/cornell_movie_dialog)

Untuk obrolan konsol:

2. Dari direktori model, jalankan chat_console_best_weights_training.bat atau chat_console_best_weights_validation.bat

Untuk obrolan web:

2. Dari direktori model jalankan chat_web_best_weights_training.bat atau chat_web_best_weights_validation.bat

3. Buka browser ke URL yang ditunjukkan oleh konsol server, diikuti oleh /chat_ui.html . Ini biasanya: http://localhost:8080/chat_ui.html

Untuk mengobrol dengan model terlatih dari konsol python:

1. Setel direktori kerja konsol ke direktori seq2seq-chatbot . Direktori ini harus memiliki direktori model dan kumpulan data langsung di dalamnya.

2. Jalankan chat.py dengan jalur pos pemeriksaan model:

run chat.py models d ataset_name m odel_name c heckpoint.ckpt

Misalnya, untuk ngobrol dengan model dialog film cornell terlatih train_model_v2 :

1. Unduh dan unzip train_model_v2 ke dalam folder seq2seq-chatbot/models/cornell_movie_dialog

2. Setel direktori kerja konsol ke direktori seq2seq-chatbot

3. Berlari:

run chat.py models c ornell_movie_dialog t rained_model_v2 b est_weights_training.ckpt

Hasilnya akan terlihat seperti ini:

Melatih model

Untuk melatih model dari konsol python:

1. Konfigurasikan file hparams.json ke hyperparameter pelatihan yang diinginkan

2. Setel direktori kerja konsol ke direktori seq2seq-chatbot . Direktori ini harus memiliki direktori model dan kumpulan data langsung di dalamnya.

3. Untuk melatih model baru, jalankan train.py dengan jalur himpunan data:

run train.py --datasetdir=datasets d ataset_name

Atau untuk melanjutkan pelatihan model yang sudah ada, jalankan train.py dengan jalur pos pemeriksaan model:

run train.py --checkpointfile=models d ataset_name m odel_name c heckpoint.ckpt

Misalnya, untuk melatih model baru pada kumpulan data dialog film cornell dengan hyperparameter default:

1. Setel direktori kerja konsol ke direktori seq2seq-chatbot

2. Berlari:

run train.py --datasetdir=datasets c ornell_movie_dialog

Hasilnya akan terlihat seperti ini:

Mentransfer pembelajaran dengan penyematan terlatih:

Dokumen segera hadir...

Memvisualisasikan model di TensorBoard

TensorBoard adalah alat hebat untuk memvisualisasikan apa yang terjadi saat model TensorFlow dilatih.

Untuk memulai TensorBoard dari terminal:

tensorboard --logdir=model_dir

Dimana model_dir adalah jalur ke direktori tempat file pos pemeriksaan model berada. Misalnya, untuk melihat model dialog film cornell yang dilatih train_model_v2 :

tensorboard --logdir=models c ornell_movie_dialog t rained_model_v2

Visualisasikan Pelatihan

Dokumen segera hadir...

Visualisasikan grafik model

Dokumen segera hadir...

Visualisasikan penyematan kata

TensorBoard dapat memproyeksikan penyematan kata ke dalam ruang 3D dengan melakukan teknik reduksi dimensi seperti PCA atau T-SNE, dan memungkinkan Anda menjelajahi bagaimana model mengelompokkan kata-kata dalam kosakata Anda dengan melihat tetangga terdekat di ruang penyematan untuk kata apa pun . Lebih lanjut tentang penyematan kata di TensorFlow dan proyektor TensorBoard dapat ditemukan di sini.

Saat meluncurkan TensorBoard untuk direktori model dan memilih tab "Projector", tampilannya akan seperti ini:

Menambahkan kumpulan data baru

Instruksi segera hadir...

Ketergantungan

Paket python berikut digunakan di seq2seq-chatbot: (tidak termasuk paket yang disertakan dengan Anaconda)

• TensorFlow *Catatan - TF 2.x belum didukung, gunakan versi TF 1.x terbaru.

  pip install --upgrade tensorflow==1. *

  Untuk dukungan GPU: (Lihat di sini untuk petunjuk pemasangan GPU lengkap termasuk CUDA dan cuDNN)

  pip install --upgrade tensorflow-gpu==1. *

• jsonpickle

  pip install --upgrade jsonpickle

• klik 6.7, flask 0.12.4 dan flask-restful (diperlukan untuk menjalankan antarmuka web)

  pip install click==6.7
  pip install flask==0.12.4
  pip install --upgrade flask-restful

Peta jalan

Lihat Halaman Peta Jalan

Ucapan Terima Kasih

Implementasi ini terinspirasi oleh:

• Kirill Eremenko & Hadelin de Ponteves Kursus Deep NLP Udemy
• Tutorial Terjemahan Mesin Neural TensorFlow (seq2seq).
  • TF NMT GitHub

Makalah yang relevan

1. Pembelajaran Urutan ke Urutan dengan Jaringan Syaraf Tiruan

2. Model Percakapan Neural

3. Terjemahan Mesin Neural dengan Belajar Bersama Menyelaraskan dan Menerjemahkan (mekanisme perhatian Bahdanau)

4. Pendekatan Efektif untuk Terjemahan Mesin Neural Berbasis Perhatian (mekanisme perhatian Luong)