DSTC6 End to End Conversation Modeling

DSTC6: مسار نمذجة المحادثة الشاملة

تسجيل

برجاء التسجيل: https://goo.gl/forms/Fxy061gHuSOZGC1i2

أخبار

• حزمة تحليل التقييم: 19 يناير 2018

  تتضمن الحزمة جميع المراجع التي أنشأها 11 شخصًا، وفرضيات 20 نظامًا، ونتائج التقييم في مسار نمذجة المحادثة الشاملة DSTC6. https://www.dropbox.com/s/oh1trbos0tjzn7t/dstc6_t2_evaluation.tgz

• تنزيل بيانات التدريب الرسمية: 7-18 سبتمبر 2017

• توزيع بيانات الاختبار: 25 سبتمبر 2017

• التقديم: 8 أكتوبر 2017

وصف المسار

1. المهمة الرئيسية (إلزامية): حوار خدمة العملاء باستخدام تويتر

   (*) يتم توفير الأدوات اللازمة لتنزيل بيانات تويتر والتحويل إلى تنسيق الحوار من البيانات.

   المهمة أ: سيتم استخدام بيانات التدريب كاملة أو جزء منها لتدريب نماذج المحادثة.

   المهمة ب: أي بيانات مفتوحة، على سبيل المثال من الويب، متاحة كمعرفة خارجية لإنشاء جمل مفيدة. ولكن لا ينبغي أن تتداخل مع بيانات التدريب والتحقق والاختبار التي يقدمها المنظمون.

2. المهمة التجريبية: مربع حوار سيناريو الفيلم باستخدام OpenSubtitle

• يرجى الاستشهاد بالمقالة التالية إذا كنت ستنشر النتائج باستخدام هذا الإعداد:

  https://arxiv.org/pdf/1706.07440.pdf

   @article{DSTC6_End-to-End_Conversation_Modeling,
    Author = {Chiori Hori and Takaaki Hori},
    Title = {End-to-end Conversation Modeling Track in DSTC6},    
    Journal = {arXiv:1706.07440},    
    Year = {2017}
  }
  

الخطوات اللازمة

تحضير

معظم الأدوات مكتوبة بلغة بايثون، والتي تم اختبارها على python2.7.6+ وpython3.4.1+، كما تُستخدم بعض نصوص bash أيضًا لتنفيذ تلك الأدوات.

لإعداد البيانات، ستحتاج إلى وحدات بايثون إضافية على النحو التالي:

• ستة
• com.tqdm
• nltk

والتي يمكن تثبيتها عن طريق

 pip install 

أو

 pip install  -t 

حيث هو دليل يقوم بتخزين وحدات python ويحتاج إلى إمكانية الوصول إليه من python، على سبيل المثال عن طريق تضمينه في متغير بيئة PYTHONPATH.

إذا جربت النظام الأساسي، فستحتاج إلى Chainer http://chainer.org، وهي مجموعة أدوات للتعلم العميق، لإجراء التدريب وتقييم نماذج المحادثة العصبية. يرجى اتباع التعليمات الموجودة في ChatbotBaseline/README.md .

مهمة تويتر

1. إعداد مجموعة البيانات باستخدام البرامج النصية collect_twitter_dialogs .

    $ cd collect_twitter_dialogs
   $ collect.sh
   

   (يعد حساب تويتر ومفاتيح الوصول ضروريين لتشغيل البرنامج النصي. اتبع التعليمات الموجودة في collect_twitter_dialogs/README.md )

2. استخراج مجموعات التدريب والتطوير والاختبار من بيانات حوار تويتر المخزنة

    $ cd ../tasks/twitter
   $ make_trial_data.sh
   

   ملاحظة: البيانات المستخرجة هي بيانات تجريبية في هذه اللحظة.

3. تشغيل النظام الأساسي (اختياري)

    $ cd ../../ChatbotBaseline/egs/twitter
   $ run.sh
   

   (انظر ChatbotBaseline/README.md )

مهمة OpenSubtitles

1. تنزيل بيانات OpenSubtitles2016

    $ cd tasks/opensubs
   $ wget http://opus.lingfil.uu.se/download.php?f=OpenSubtitles2016/en.tar.gz
   $ tar zxvf en.tar.gz
   

2. استخراج مجموعات التدريب والتطوير والاختبار من بيانات الترجمة المخزنة

    $ make_trial_data.sh
   

   ملاحظة: البيانات المستخرجة هي بيانات تجريبية في هذه اللحظة.

3. تشغيل النظام الأساسي (اختياري)

    $ cd ../../ChatbotBaseline/egs/opensubs
   $ run.sh
   

   (انظر ChatbotBaseline/README.md )

الدلائل والملفات

• README.md : هذا الملف
• المهام: إعداد البيانات لكل مهمة فرعية
• Collect_twitter_dialogs: نصوص برمجية لجمع بيانات تويتر
• ChatbotBaseline: نظام أساسي لنموذج المحادثة العصبية

معلومات الاتصال

يمكنك الحصول على آخر التحديثات والمشاركة في المناقشات على القائمة البريدية لـ DSTC

للانضمام إلى القائمة البريدية، أرسل بريدًا إلكترونيًا إلى: ([email protected]) مع وضع عبارة "subscribe DSTC" في نص الرسالة (بدون علامتي الاقتباس). لنشر رسالة، أرسل رسالتك إلى: ([email protected]).