Adversarial Learning for Generative Conversational Agents

การเรียนรู้แบบปฏิปักษ์สำหรับตัวแทนการสนทนาเชิงสร้างสรรค์

พื้นที่เก็บข้อมูลนี้มีวิธีการฝึกอบรมฝ่ายตรงข้ามใหม่สำหรับ Generative Conversational Agent (GCA) ของเรา

รายละเอียดเพิ่มเติมเกี่ยวกับวิธีการฝึกอบรมใหม่นี้มีอยู่ในรายงาน Oswaldo Ludwig, "End-to-end Adversarial Learning for Generative Conversational Agents" arXiv:1711.10122 cs.CL, พ.ย. 2017 ในกรณีที่ตีพิมพ์โดยใช้แนวคิดหรือเนื้อหา รหัสจากที่เก็บนี้ กรุณาอ้างอิงบทความนี้

วิธีการของเราถือว่า GCA เป็นตัวสร้างที่มีจุดมุ่งหมายเพื่อหลอกผู้เลือกปฏิบัติที่ตีตราบทสนทนาว่าสร้างขึ้นโดยมนุษย์หรือสร้างโดยเครื่องจักร ในแนวทางของเรา ผู้แยกแยะดำเนินการจำแนกระดับโทเค็น กล่าวคือ เป็นการบ่งชี้ว่าโทเค็นปัจจุบันถูกสร้างขึ้นโดยมนุษย์หรือเครื่องจักร ในการทำเช่นนั้น ผู้เลือกปฏิบัติยังจะได้รับคำพูดตามบริบท (ประวัติการสนทนา) และคำตอบที่ไม่สมบูรณ์จนถึงโทเค็นปัจจุบันเป็นอินพุต แนวทางใหม่นี้ทำให้มีการฝึกอบรมแบบ end-to-end โดย backpropagation กระบวนการสนทนาด้วยตนเองช่วยให้สามารถสร้างชุดข้อมูลที่สร้างขึ้นซึ่งมีความหลากหลายมากขึ้นสำหรับการฝึกอบรมฝ่ายตรงข้าม แนวทางนี้ช่วยปรับปรุงประสิทธิภาพของคำถามที่ไม่เกี่ยวข้องกับข้อมูลการฝึกอบรม

โมเดลที่ได้รับการฝึกอบรมที่นี่ใช้ชุดข้อมูลที่รวบรวมจากบทสนทนาของหลักสูตรภาษาอังกฤษออนไลน์ซึ่งมีให้ที่นี่

โมเดล GCA ของเราสามารถอธิบายได้ด้วยผังงานต่อไปนี้:

ในขณะที่รหัสเทียมต่อไปนี้อธิบายอัลกอริทึม GCA ของเรา:

การฝึกอบรมปฏิปักษ์แบบ end-to-end ใหม่ของเราสามารถอธิบายได้ด้วยโมเดล Keras ต่อไปนี้ (นำไปใช้ในไฟล์ train_bot_GAN.py) ซึ่งประกอบด้วยตัวสร้างและตัวแบ่งแยก บล็อกสีเหลืองเป็นของ GCA (เครื่องกำเนิด) ในขณะที่บล็อกสีเขียวเป็นของตัวแยกแยะ บล็อกสีขาวถูกใช้ร่วมกันระหว่างตัวสร้างและผู้แยกแยะ:

ในขณะที่รหัสเทียมต่อไปนี้อธิบายอัลกอริทึมใหม่ (ดูบทความเกี่ยวกับคำจำกัดความของตัวแปร):

วิธีสนทนากับโมเดลที่ได้รับการฝึกล่วงหน้า:

1. ดาวน์โหลดไฟล์ python "conversation_GAN.py" ไฟล์คำศัพท์ "vocabulary_movie" และน้ำหนักสุทธิ "my_model_weights20.h5" (ฝึกโดยครูบังคับ) และ "my_model_weights.h5" (ฝึกโดยวิธีปฏิปักษ์ใหม่) ซึ่งสามารถ พบที่นี่;
2. เรียกใช้การสนทนา_GAN.py

ในการประเมินบทสนทนาโดยใช้เครื่องแยกแยะที่ได้รับการฝึกอบรมมาแล้ว:

1. ดาวน์โหลดไฟล์ python "run_discriminator_GAN.py" ไฟล์คำศัพท์ "vocabulary_movie" และน้ำหนักสุทธิของ discriminator "my_model_weights_discriminator.h5" ซึ่งสามารถพบได้ที่นี่
2. เรียกใช้ run_discriminator_GAN.py

หากต้องการฝึกอบรมตั้งแต่ต้นทางถึงปลายทางโดยใช้วิธีปฏิปักษ์ใหม่:

1. ดาวน์โหลดไฟล์ทั้งหมดได้ที่นี่;
2. ดาวน์โหลดโฟลเดอร์ Glove 'glove.6B' และรวมโฟลเดอร์นี้ไว้ในไดเร็กทอรีของแชทบอท (คุณจะพบโฟลเดอร์นี้ได้ที่นี่) อัลกอริทึมนี้ใช้การถ่ายโอนการเรียนรู้โดยใช้การฝังคำที่ผ่านการฝึกอบรมมาแล้ว
3. เรียกใช้ GAN_train_script.py สคริปต์นี้อธิบายตนเองและสรุปการฝึกอบรมปฏิปักษ์แบบใหม่ หากคุณต้องการฝึกฝนข้อมูลของคุณเอง ให้รวมไว้ในไฟล์ "context_simple" และ "answers_simple" ที่มีรูปแบบเดียวกัน ดังที่เห็นในสคริปต์ ฉันใช้แบ็กเอนด์ Theano และ GPU จำเป็นต้องมีการแก้ไขเล็กน้อยเพื่อรันด้วยแบ็กเอนด์ TensorFlow

หากคุณต้องการเริ่มต้นการฝึกอบรมฝ่ายตรงข้ามตั้งแต่ต้น ให้สร้างไฟล์น้ำหนัก my_model_weights.h5 (ฝึกอบรมวิธีฝ่ายตรงข้ามใหม่แล้ว) เท่ากับ my_model_weights20.h5 (ฝึกอบรมล่วงหน้าโดยครูบังคับ) และเรียกใช้ train_script.py