UnilmChatchitRobot تنزيل - UnilmChatchitRobot تنزيل كود المصدر

UnilmChatchitRobot

كود الذكاء الاصطناعي

1.0.0

تنزيل

Unilm لروبوت Chitchat الصيني

مشروع روبوت الدردشة Kuaqua المبني على نموذج Unilm

وصف المشروع

هذا المشروع عبارة عن مشروع روبوت دردشة يعتمد على نموذج Unilm.
يتم تدريب النموذج الحالي مفتوح المصدر لهذا المشروع فقط باستخدام بيانات مجموعة Douban Kua Kua، لذلك يطلق عليه اسم روبوت الدردشة Kua Kua. يمكن للطلاب المهتمين أيضًا استخدام كود هذا المشروع لتدريب مواد الحوار الأخرى.
للحصول على مقدمة تفصيلية، راجع Zhihu: إنشاء حوار Unilm لروبوت الدردشة بأسلوب التفاخر.
عندما يتم إنشاء الحوار النهائي، تتم تصفية الكلمات الحساسة التي تم إنشاؤها.

هيكل الملف

مسار حفظ نموذج kuakua_robot_model (تنزيل النموذج، راجع البيانات والنموذج)
unilm_model مسار نموذج unilm للتدريب المسبق (تنزيل النموذج، راجع نموذج التدريب المسبق لـ Unilm)
مجلد data_dir لتخزين البيانات
- dirty_words.txt قاموس الكلمات الحساسة
- douban_kuakua_qa.txt مجموعة Douban Kuakua الأصلية
- عينة مجموعة تدريب Sample.json، يجب معالجة البيانات الأصلية في نموذج عينة (لا يوفر المشروع كود المعالجة المسبقة)
ملف التكوينconfig_unilm.py لنموذج unilm
modeling_unilm.py ملف نموذج unilm
ملف التدريب النموذجي run_train.py
يقوم ملف التنبؤ Interactive_conditional_samples.py، بناءً على النموذج المدرب، بإنشاء حوار

بيئة التشغيل

المحولات == 3.0.2
الشعلة >= 1.4

البيانات والنماذج

المجموعة الأصلية تأتي من بيانات مجموعة Douban Kuakua، راجع data/douban_kuakua_qa.txt.
بعد التنظيف، تم الحصول على أكثر من 60.000 من بيانات المحادثة ذات الجولة الواحدة للتعرف على تنسيق البيانات، راجع data/sample.json.
النموذج المدرب، عنوان التنزيل: الرابط، رمز التحقق: e0au

يدرب

 nohup python3 -u run_train.py --data_dir data/ 
                              --src_file kuakua_data.json 
                              --model_type unilm 
                              --model_name_or_path unilm_model/ 
                              --output_dir kuakua_robot_model/ 
                              --max_seq_length 128 
                              --max_position_embeddings 512 
                              --do_train 
                              --do_lower_case 
                              --train_batch_size 32 
                              --learning_rate 2e-5 
                              --logging_steps 100 
                              --num_train_epochs 10 > log.log 2>&1 &

استغرقت آلة التدريب ستينيات القرن الحادي والعشرين، وكان حجم الدفعة 32، وتم تدريب 10 عصور. الخسارة هي كما يلي: الصورة الرمزية

انطلاقًا من منحنى الخسارة، في الواقع، لم يتقارب النموذج تمامًا، ولا تزال الخسارة تشهد انخفاضًا كبيرًا، ويمكنك الاستمرار في التدريب، ويجب أن يكون التأثير أفضل.

امتحان

 python3 interactive_conditional_samples.py --device 0
                                           --topk 3
                                           --topp 0.95
                                           --dirty_path data/dirty_words.txt
                                           --model_name_or_path kuakua_robot_model/
                                           --repetition_penalty 1.2
                                           --max_len 32 
                                           --no_cuda False

يمكن تعديل تأثير إنشاء النموذج عن طريق ضبط topk وtopp وrepetition_penalty.

نتيجة

عينة1

 user:工作不开心
chatbot:你可以的！工作不开心也可以去吃火锅，看个影响自己心情的电视剧
user:工作不开心
chatbot:我也是，不过现在开始努力找工作啦！一起加油鸭～
user:工作不开心
chatbot:那就祝福你，能找到喜欢的工作吧。
user:工作不开心
chatbot:你也要加油鸭！
user:工作不开心
chatbot:我也是，不过总有一天就会好起来的

عينة2

 user:我分手了
chatbot:分手快乐，你会遇到更好的。
user:我分手了
chatbot:旧的不去新的不来，你会遇见更好的
user:我分手了
chatbot:分的好，下一个更乖
user:我分手了
chatbot:旧的不去新的不来
user:我分手了
chatbot:分手快乐，祝你快乐！
user:我分手了
chatbot:旧的不去新的不来，加油！

عينة3

 user:好像去吃火锅，但是我在减肥
chatbot:你好棒！一定会瘦下来的！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅是为了能更好的减肥，你真棒！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对胃好哦！我也在减肥，一起加油呀
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对减肥有什么效果？我也想去吃，但是现在没勇气去吃
user:好像去吃火锅，但是我在减肥
chatbot:你真的很棒，我也在减肥

غير كافٍ

أكبر مشكلة في هذا النموذج هي أن معلومات السياق لا تؤخذ في الاعتبار عند تدريب النموذج، أي أن التدريب يتم لجولة واحدة من الحوار، لذلك قد لا يكون النص صحيحًا.

العمل المستقبلي

في وقت لاحق، يمكن إضافة تعليقات مفصلة إلى المشروع ويمكن إضافة رمز المعالجة المسبقة للبيانات.
وفي وقت لاحق، يمكن استخدام دفعات كبيرة من البيانات لتدريب نموذج حوار محادثة أفضل قائم على unilm.
لاحقًا، يمكنك مراعاة السياق وتدريب نموذج يدعم جولات متعددة من الحوار.

الرجوع إلى

يونيلم

نقلا عن

 @misc{UnilmChatchitRobot,
  author = {Cong Liu},
  title = {Unilm for Chinese Chitchat Robot},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  url="https://github.com/liucongg/UnilmChatchitRobot",
}