UnilmChatchitRobot

Unilm สำหรับหุ่นยนต์ Chitchat จีน

โครงการหุ่นยนต์แชท Kuaqua จากโมเดล Unilm

รายละเอียดโครงการ

• โปรเจ็กต์นี้เป็นโปรเจ็กต์หุ่นยนต์แชทที่ใช้โมเดล Unilm
• โมเดลโอเพ่นซอร์สปัจจุบันของโปรเจ็กต์นี้ได้รับการฝึกฝนโดยใช้ข้อมูลกลุ่ม Douban Kua Kua เท่านั้น ดังนั้นจึงเรียกว่าแชทบอท Kua Kua นักเรียนที่สนใจสามารถใช้โค้ดของโปรเจ็กต์นี้เพื่อฝึกอบรมสื่อการสนทนาอื่นๆ ได้
• สำหรับคำแนะนำโดยละเอียด โปรดดู Zhihu: การสร้างบทสนทนาแบบ Unilm ของแชทบอทสไตล์โม้
• เมื่อบทสนทนาสุดท้ายถูกสร้างขึ้น คำที่ละเอียดอ่อนที่สร้างขึ้นจะถูกกรอง

โครงสร้างไฟล์

• เส้นทางการบันทึกโมเดล kuakua_robot_model (ดาวน์โหลดโมเดล ดูข้อมูลและโมเดล)
• unilm_model เส้นทางโมเดล unilm การฝึกอบรมล่วงหน้า (ดาวน์โหลดโมเดล ดูที่ โมเดลการฝึกอบรมล่วงหน้า Unilm)
• โฟลเดอร์ data_dir เพื่อเก็บข้อมูล
  • Dirt_words.txt พจนานุกรมคำที่ละเอียดอ่อน
  • douban_kuakua_qa.txt คลังข้อมูลกลุ่ม Douban Kuakua ดั้งเดิม
  • ตัวอย่างชุดการฝึกอบรม example.json ข้อมูลต้นฉบับจะต้องได้รับการประมวลผลเป็นรูปแบบตัวอย่าง (โครงการไม่มีรหัสการประมวลผลล่วงหน้า)
• configuration_unilm.py ไฟล์กำหนดค่าของโมเดล unilm
• modeling_unilm.py ไฟล์โมเดล unilm
• ไฟล์การฝึกโมเดล run_train.py
• ไฟล์การทำนาย Interactive_conditional_samples.py จะสร้างบทสนทนาตามโมเดลที่ได้รับการฝึก

สภาพแวดล้อมการทำงาน

• หม้อแปลงไฟฟ้า == 3.0.2
• ไพทอร์ช >= 1.4

ข้อมูลและแบบจำลอง

• คลังข้อมูลดั้งเดิมมาจากข้อมูลกลุ่ม Douban Kuakua โปรดดูที่ data/douban_kuakua_qa.txt
• หลังจากทำความสะอาด ได้รับข้อมูลการสนทนารอบเดียวมากกว่า 60,000 รายการ สำหรับรูปแบบข้อมูล โปรดดูที่ data/sample.json
• โมเดลที่ผ่านการฝึกอบรม ที่อยู่ดาวน์โหลด: ลิงก์ รหัสยืนยัน: e0au

รถไฟ

 nohup python3 -u run_train.py --data_dir data/ 
                              --src_file kuakua_data.json 
                              --model_type unilm 
                              --model_name_or_path unilm_model/ 
                              --output_dir kuakua_robot_model/ 
                              --max_seq_length 128 
                              --max_position_embeddings 512 
                              --do_train 
                              --do_lower_case 
                              --train_batch_size 32 
                              --learning_rate 2e-5 
                              --logging_steps 100 
                              --num_train_epochs 10 > log.log 2>&1 &

เครื่องฝึกซ้อมใช้เวลาช่วงทศวรรษ 2060 ขนาดแบตช์คือ 32 และ 10 ยุคได้รับการฝึกอบรม การสูญเสียมีดังนี้:

เมื่อพิจารณาจากเส้นโค้งการสูญเสีย ที่จริงแล้ว โมเดลยังไม่ได้มาบรรจบกันอย่างสมบูรณ์ และการขาดทุนยังคงลดลงอย่างมาก คุณสามารถฝึกฝนต่อไปได้ และผลลัพธ์น่าจะดีกว่านี้

ทดสอบ

 python3 interactive_conditional_samples.py --device 0
                                           --topk 3
                                           --topp 0.95
                                           --dirty_path data/dirty_words.txt
                                           --model_name_or_path kuakua_robot_model/
                                           --repetition_penalty 1.2
                                           --max_len 32 
                                           --no_cuda False

เอฟเฟกต์การสร้างแบบจำลองสามารถแก้ไขได้โดยการปรับ topk, topp และ repetition_penalty

ผลลัพธ์

ตัวอย่าง1

 user:工作不开心
chatbot:你可以的！工作不开心也可以去吃火锅，看个影响自己心情的电视剧
user:工作不开心
chatbot:我也是，不过现在开始努力找工作啦！一起加油鸭～
user:工作不开心
chatbot:那就祝福你，能找到喜欢的工作吧。
user:工作不开心
chatbot:你也要加油鸭！
user:工作不开心
chatbot:我也是，不过总有一天就会好起来的

ตัวอย่าง2

 user:我分手了
chatbot:分手快乐，你会遇到更好的。
user:我分手了
chatbot:旧的不去新的不来，你会遇见更好的
user:我分手了
chatbot:分的好，下一个更乖
user:我分手了
chatbot:旧的不去新的不来
user:我分手了
chatbot:分手快乐，祝你快乐！
user:我分手了
chatbot:旧的不去新的不来，加油！

ตัวอย่าง3

 user:好像去吃火锅，但是我在减肥
chatbot:你好棒！一定会瘦下来的！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅是为了能更好的减肥，你真棒！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对胃好哦！我也在减肥，一起加油呀
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对减肥有什么效果？我也想去吃，但是现在没勇气去吃
user:好像去吃火锅，但是我在减肥
chatbot:你真的很棒，我也在减肥

ไม่เพียงพอ

ปัญหาที่ใหญ่ที่สุดของโมเดลนี้คือ ข้อมูลบริบทจะไม่ถูกนำมาพิจารณาเมื่อฝึกโมเดล กล่าวคือ การฝึกอบรมจะดำเนินการสำหรับการสนทนารอบเดียว ดังนั้นข้อความจึงอาจไม่ถูกต้อง

งานในอนาคต

• ต่อมา อาจมีการเพิ่มความคิดเห็นโดยละเอียดลงในโปรเจ็กต์ และอาจเพิ่มโค้ดบางส่วนสำหรับการประมวลผลข้อมูลล่วงหน้า
• ต่อมา อาจมีการใช้ข้อมูลจำนวนมากเพื่อฝึกโมเดลบทสนทนาการแชทแบบ Unilm ที่ดีขึ้น
• หลังจากนั้น คุณอาจพิจารณาบริบทและฝึกอบรมโมเดลที่รองรับการสนทนาหลายรอบ

อ้างถึง

• ยูนิลม

การอ้างอิง

 @misc{UnilmChatchitRobot,
  author = {Cong Liu},
  title = {Unilm for Chinese Chitchat Robot},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  url="https://github.com/liucongg/UnilmChatchitRobot",
}

ติดต่อผู้เขียน

• อีเมล์: [email protected]
• จือหู: Liu Cong NLP
• คอลัมน์ Zhihu: เวิร์กสเตชัน NLP
• Github: liucongg
• บัญชีสาธารณะ: เวิร์กสเตชัน NLP