Adversarial Learning for Generative Conversational Agents

Pembelajaran Adversarial untuk Agen Percakapan Generatif

Repositori ini berisi metode pelatihan permusuhan baru untuk Agen Percakapan Generatif (GCA) kami.

Rincian lebih lanjut mengenai metode pelatihan baru ini dapat ditemukan dalam makalah Oswaldo Ludwig, "Pembelajaran Adversarial End-to-end untuk Agen Percakapan Generatif," arXiv:1711.10122 cs.CL, Nov 2017. Dalam hal publikasi menggunakan ide atau potongan kode dari repositori ini, mohon kutip makalah ini.

Metode kami mengasumsikan GCA sebagai sebuah generator yang bertujuan untuk mengelabui pihak yang melakukan diskriminasi yang melabeli dialog sebagai dialog yang dibuat oleh manusia atau dibuat oleh mesin. Dalam pendekatan kami, diskriminator melakukan klasifikasi tingkat token, yaitu menunjukkan apakah token saat ini dihasilkan oleh manusia atau mesin. Untuk melakukan hal ini, diskriminator juga menerima konteks ucapan (sejarah dialog) dan jawaban yang tidak lengkap hingga token saat ini sebagai masukan. Pendekatan baru ini memungkinkan pelatihan end-to-end dengan propagasi mundur. Proses percakapan mandiri memungkinkan untuk menghasilkan sekumpulan data yang dihasilkan dengan lebih banyak keragaman untuk pelatihan permusuhan. Pendekatan ini meningkatkan kinerja pada pertanyaan yang tidak terkait dengan data pelatihan.

Model terlatih yang tersedia di sini menggunakan kumpulan data yang dikumpulkan dari dialog kursus bahasa Inggris online, tersedia di sini.

Model GCA kami dapat dijelaskan dengan diagram alur berikut:

sedangkan pseudocode berikut menjelaskan algoritma GCA kami:

Pelatihan permusuhan ujung ke ujung kami yang baru dapat dijelaskan dengan model Keras berikut (diimplementasikan dalam file train_bot_GAN.py), yang disusun oleh generator dan diskriminator. Blok kuning milik GCA (generator), sedangkan blok hijau milik diskriminator. Blok putih dibagi antara generator dan diskriminator:

sedangkan pseudocode berikut menjelaskan algoritma baru (lihat makalah untuk definisi variabel):

Untuk mengobrol dengan model terlatih:

1. Unduh file python "conversation_GAN.py", file kosakata "vocabulary_movie", dan bobot bersih "my_model_weights20.h5" (dilatih oleh pemaksaan guru) dan "my_model_weights.h5" (dilatih dengan metode permusuhan baru), yang dapat ditemukan di sini;
2. Jalankan percakapan_GAN.py.

Untuk mengevaluasi baris dialog menggunakan diskriminator terlatih:

1. Unduh file python "run_discriminator_GAN.py", file kosakata "vocabulary_movie", dan bobot bersih diskriminator "my_model_weights_discriminator.h5", yang dapat ditemukan di sini;
2. Jalankan run_discriminator_GAN.py.

Untuk melatih end-to-end menggunakan metode adversarial baru:

1. Unduh semua file di sini;
2. Unduh folder Glove 'glove.6B' dan sertakan folder ini di direktori chatbot (Anda dapat menemukan folder ini di sini). Algoritme ini menerapkan pembelajaran transfer dengan menggunakan penyematan kata yang telah dilatih sebelumnya;
3. Jalankan GAN_train_script.py. Skrip ini menjelaskan dirinya sendiri dan merangkum pelatihan permusuhan yang baru. Jika Anda ingin melatih data Anda sendiri, sertakan data tersebut dalam file "context_simple" dan "answers_simple" dengan mengikuti pola yang sama. Seperti yang dapat dilihat di skrip, saya menggunakan backend dan GPU Theano, diperlukan beberapa modifikasi untuk menjalankannya dengan backend TensorFlow.

Jika Anda ingin memulai pelatihan permusuhan dari awal, buat file bobot my_model_weights.h5 (yang telah dilatih sebelumnya dengan metode permusuhan baru) sama dengan my_model_weights20.h5 (yang telah dilatih sebelumnya oleh pemaksaan guru) dan jalankan train_script.py.