DSTC6 End to End Conversation Modeling

DSTC6: مسار نمذجة المحادثة الشاملة

تسجيل

برجاء التسجيل: https://goo.gl/forms/Fxy061gHuSOZGC1i2

أخبار

• حزمة تحليل التقييم: 19 يناير 2018

  تتضمن الحزمة جميع المراجع التي أنشأها 11 شخصًا، وفرضيات 20 نظامًا، ونتائج التقييم في مسار نمذجة المحادثة الشاملة DSTC6. https://www.dropbox.com/s/oh1trbos0tjzn7t/dstc6_t2_evaluation.tgz

• تنزيل بيانات التدريب الرسمية: 7-18 سبتمبر 2017

• توزيع بيانات الاختبار: 25 سبتمبر 2017

• التقديم: 8 أكتوبر 2017

وصف المسار

1. المهمة الرئيسية (إلزامية): حوار خدمة العملاء باستخدام تويتر

   (*) يتم توفير الأدوات اللازمة لتنزيل بيانات تويتر والتحويل إلى تنسيق الحوار من البيانات.

   المهمة أ: سيتم استخدام بيانات التدريب كاملة أو جزء منها لتدريب نماذج المحادثة.

   المهمة ب: أي بيانات مفتوحة، على سبيل المثال من الويب، متاحة كمعرفة خارجية لإنشاء جمل مفيدة. ولكن لا ينبغي أن تتداخل مع بيانات التدريب والتحقق والاختبار التي يقدمها المنظمون.

2. المهمة التجريبية: مربع حوار سيناريو الفيلم باستخدام OpenSubtitle

• يرجى الاستشهاد بالمقالة التالية إذا كنت ستنشر النتائج باستخدام هذا الإعداد:

  https://arxiv.org/pdf/1706.07440.pdf

   @article{DSTC6_End-to-End_Conversation_Modeling,
    Author = {Chiori Hori and Takaaki Hori},
    Title = {End-to-end Conversation Modeling Track in DSTC6},    
    Journal = {arXiv:1706.07440},    
    Year = {2017}
  }
  

الخطوات اللازمة

تحضير

معظم الأدوات مكتوبة بلغة بايثون، والتي تم اختبارها على python2.7.6+ وpython3.4.1+، كما تُستخدم بعض نصوص bash أيضًا لتنفيذ تلك الأدوات.

لإعداد البيانات، ستحتاج إلى وحدات بايثون إضافية على النحو التالي:

• ستة
• com.tqdm
• nltk

والتي يمكن تثبيتها عن طريق

 pip install <module-name>

أو

 pip install <module-name> -t <some-directory>

حيث <some-directory> هو دليل يقوم بتخزين وحدات python ويحتاج إلى إمكانية الوصول إليه من python، على سبيل المثال عن طريق تضمينه في متغير بيئة PYTHONPATH.

إذا جربت النظام الأساسي، فستحتاج إلى Chainer http://chainer.org، وهي مجموعة أدوات للتعلم العميق، لإجراء التدريب وتقييم نماذج المحادثة العصبية. يرجى اتباع التعليمات الموجودة في ChatbotBaseline/README.md .

مهمة تويتر

1. إعداد مجموعة البيانات باستخدام البرامج النصية collect_twitter_dialogs .

    $ cd collect_twitter_dialogs
   $ collect.sh
   

   (يعد حساب تويتر ومفاتيح الوصول ضروريين لتشغيل البرنامج النصي. اتبع التعليمات الموجودة في collect_twitter_dialogs/README.md )

2. استخراج مجموعات التدريب والتطوير والاختبار من بيانات حوار تويتر المخزنة

    $ cd ../tasks/twitter
   $ make_trial_data.sh
   

   ملاحظة: البيانات المستخرجة هي بيانات تجريبية في هذه اللحظة.

3. تشغيل النظام الأساسي (اختياري)

    $ cd ../../ChatbotBaseline/egs/twitter
   $ run.sh
   

   (انظر ChatbotBaseline/README.md )

مهمة OpenSubtitles

1. تنزيل بيانات OpenSubtitles2016

    $ cd tasks/opensubs
   $ wget http://opus.lingfil.uu.se/download.php?f=OpenSubtitles2016/en.tar.gz
   $ tar zxvf en.tar.gz
   

2. استخراج مجموعات التدريب والتطوير والاختبار من بيانات الترجمة المخزنة

    $ make_trial_data.sh
   

   ملاحظة: البيانات المستخرجة هي بيانات تجريبية في هذه اللحظة.

3. تشغيل النظام الأساسي (اختياري)

    $ cd ../../ChatbotBaseline/egs/opensubs
   $ run.sh
   

   (انظر ChatbotBaseline/README.md )

الدلائل والملفات

• README.md : هذا الملف
• المهام: إعداد البيانات لكل مهمة فرعية
• Collect_twitter_dialogs: نصوص برمجية لجمع بيانات تويتر
• ChatbotBaseline: نظام أساسي لنموذج المحادثة العصبية

معلومات الاتصال

يمكنك الحصول على آخر التحديثات والمشاركة في المناقشات على القائمة البريدية لـ DSTC

للانضمام إلى القائمة البريدية، أرسل بريدًا إلكترونيًا إلى: ([email protected]) مع وضع عبارة "subscribe DSTC" في نص الرسالة (بدون علامتي الاقتباس). لنشر رسالة، أرسل رسالتك إلى: ([email protected]).