dstc

تحدي تتبع حالة الحوار 2 و3 بيانات

تمت استضافة هذه البيانات على http://camdial.org/~mh521/dstc/

تنزيلات البيانات

عرض الكل ضمن الإصدارات.

• handbook.pdf - دليل DSTC 2 و3 الذي يحتوي على معلومات حول تنسيقات البيانات المستخدمة
• dstc2_traindev.tar.gz - مجموعات بيانات التدريب والتطوير لـ DSTC 2.
• dstc2_test.tar.gz - مجموعة بيانات الاختبار لـ DSTC 2.
• dstc3_seed.tar.gz - مجموعة البيانات الأولية المُصنفة لـ DSTC 3.
• dstc3_test.tar.gz - مجموعة بيانات الاختبار لـ DSTC 3.
• dstc2_scripts.tar.gz - نصوص التقييم ومتتبع خط الأساس وأدوات أخرى.
• HWU_baseline.zip - أداة تعقب أساسية بديلة، مقدمة من Zhuoran Wang.
• audio_*.tar.gz - صوت كافة المكالمات، كملفات wav

نتائج التحدي الأصلي:

• dstc2_results.zip - النتائج الكاملة لـ DSTC 2.
• dstc2_results_small.zip - نتائج DSTC 2، لا تشمل مخرجات جهاز التعقب.
• dstc3_results.zip - النتائج الكاملة لـ DSTC 3.
• dstc3_results_small.zip - نتائج DSTC 3، لا تشمل مخرجات جهاز التعقب.

ملخص

كانت تحديات تتبع حالة الحوار 2 و3 (DSTC2&3) بمثابة تحدي بحثي يركز على تحسين أحدث ما توصلت إليه التكنولوجيا في تتبع حالة أنظمة الحوار المنطوقة. يشير تتبع الحالة، والذي يُطلق عليه أحيانًا تتبع المعتقدات، إلى تقدير هدف المستخدم بدقة مع تقدم الحوار. يعد التتبع الدقيق للحالة أمرًا مرغوبًا فيه لأنه يوفر قوة للأخطاء في التعرف على الكلام، ويساعد في تقليل الغموض المتأصل في اللغة ضمن عملية زمنية مثل الحوار.

في هذه التحديات، تم منح المشاركين مجموعة من الحوارات المصنفة لتطوير خوارزميات تتبع الحالة. تم بعد ذلك تقييم أدوات التتبع على مجموعة مشتركة من مربعات الحوار المعلقة، والتي تم إصدارها، بدون تصنيف، خلال فترة أسبوع واحد.

تم جمع النص باستخدام Amazon Mechanical Turk، ويتكون من مربعات حوار في مجالين: معلومات المطاعم، ومعلومات السائحين. تتضمن المعلومات السياحية معلومات المطاعم، وتتضمن الحانات والمقاهي وما إلى ذلك، بالإضافة إلى فتحات متعددة جديدة. كانت هناك جولتان من التقييم باستخدام هذه البيانات:

• أصدر DSTC 2 عددًا كبيرًا من مربعات الحوار التدريبية المتعلقة بالبحث عن المطاعم. بالمقارنة مع DSTC (الذي كان في مجال جداول مواعيد الحافلات)، يقدم DSTC 2 أهداف المستخدم المتغيرة، وتتبع "الفترات المطلوبة" بالإضافة إلى مجال المطاعم الجديد. تم عرض نتائج DSTC 2 في SIGDIAL 2014.
• تناول DSTC 3 مشكلة التكيف مع مجال جديد - المعلومات السياحية. يطلق DSTC 3 كمية صغيرة من البيانات المصنفة في مجال المعلومات السياحية؛ سيستخدم المشاركون هذه البيانات بالإضافة إلى بيانات المطاعم من DSTC 2 للتدريب.

يتم تصنيف مربعات الحوار المستخدمة للتدريب بشكل كامل؛ يتم إضافة تعليقات توضيحية إلى نسخ المستخدم ودلالات حوار المستخدم وحالة الحوار. (وبالتالي فإن هذه المجموعة مناسبة أيضًا للدراسات المتعلقة بفهم اللغة المنطوقة.)

لمزيد من المعلومات التفصيلية، يرجى الاطلاع على الكتيب.

الاستشهادات

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}