mmi_anti_pytorch

mmi_anti_pytorch

هذا المشروع عبارة عن تطبيق pytorch لنموذج MMI-anti الموصوف في وظيفة موضوعية لتعزيز التنوع لنماذج المحادثة العصبية

مرجع

يعتمد هذا الرمز على OpenNMT-py وword_language_model

بداية سريعة

الخطوة 1: المعالجة المسبقة للبيانات

 python preprocess.py

سنعمل مع بعض البيانات النموذجية في data/ المجلد. تتكون البيانات من سياق الحوار الموازي ( .en ) وبيانات استجابته ( .vi ) التي تحتوي على جملة واحدة في كل سطر مع رموز مفصولة بمسافة:

• train.en
• train.vi
• dev.en
• dev.vi

بعد تشغيل المعالجة المسبقة، يتم إنشاء الملفات التالية في مجلد data/ :

• dialogue.train.1.pt : ملف PyTorch متسلسل يحتوي على بيانات التدريب
• dialogue.valid.1.pt : ملف PyTorch المتسلسل الذي يحتوي على بيانات التحقق من الصحة
• dialogue.vocab.pt : ملف PyTorch متسلسل يحتوي على بيانات المفردات، والتي سيتم استخدامها في عملية التدريب على نموذج اللغة.

الخطوة الثانية: تدريب نموذج اللغة

 cd lm/tool/

في هذه الخطوة، سنقوم بتدريب نموذج لغة بناءً على استجابات نموذج MMI-anti (مثال data/*.vi ). نظرًا لأنه سيتم استخدام نموذج اللغة هذا في نموذج MMI-anti، فسوف يشارك القاموس ( data/*.vocab.pt ) الذي تم إنشاؤه في Step1 .

الخطوة 2.1: المعالجة المسبقة للبيانات

 python preprocess.py

ستحول هذه المعالجة المسبقة جميع الاستجابات لنموذج MMI-anti (مثال data/*.vi ) إلى بيانات متوازية لنموذج اللغة.

بعد تشغيل المعالجة المسبقة، يتم إنشاء الملفات التالية في المجلد lm/data/ :

• train.en
• train.de
• dev.en
• dev.de

على سبيل المثال، ستتم معالجة الاستجابة "they just want a story" في الملف data/train.vi مسبقًا إلى "<s> they just want a story" في الملف lm/data/train.en و "they just want a story </s>" في الملف lm/data/train.de .

الخطوة 2.2: تدريب نموذج اللغة

 cd ../
python lm.py

سيحفظ أمر القطار هذا نموذج اللغة في lm/model.pt .

لتشغيل هذا الرمز على وحدة المعالجة المركزية، تحتاج إلى تحديث pytorch الخاص بك إلى أي إصدار بعد 24th Feb 2018 والتأكد من إمكانية العثور على هذا الجزء من الكود في torchtext/data/iterator.py :

 if not torch.cuda.is_available() and self.device is None:
  self.device = -1

الخطوة 2.3: اختبر نموذج لغتك

 python generate.py

ستقوم هذه الأداة بتوليد 1000 عبارة بشكل عشوائي باستخدام نموذج اللغة lm/model.pt وحفظها في ملف lm/generated.txt .

الخطوة 2.4: ارجع إلى نموذج MMI-anti الخاص بنا

 cd ../

الخطوة 3: تدريب نموذج MMI-anti

 python train.py

الخطوة 4: إنشاء

 python translate.py -model model_name

سيتم حفظ نتائج التوليد في ملف pred.txt .

الخطوة 5: تقييم التنوع؟

 cat pred.txt | python diversity.py