dstc

ข้อมูลการติดตามสถานะการโต้ตอบความท้าทาย 2 และ 3

ข้อมูลนี้เคยโฮสต์บน http://camdial.org/~mh521/dstc/

ดาวน์โหลดข้อมูล

ดูทั้งหมดภายใต้ข่าวประชาสัมพันธ์

• handbook.pdf - คู่มือ DSTC 2 และ 3 พร้อมข้อมูลเกี่ยวกับรูปแบบข้อมูลที่ใช้
• dstc2_traindev.tar.gz - ฝึกอบรมชุดข้อมูลและการพัฒนาสำหรับ DSTC 2
• dstc2_test.tar.gz - ทดสอบชุดข้อมูลสำหรับ DSTC 2
• dstc3_seed.tar.gz - ชุดข้อมูลเริ่มต้นที่มีป้ายกำกับสำหรับ DSTC 3
• dstc3_test.tar.gz - ทดสอบชุดข้อมูลสำหรับ DSTC 3
• dstc2_scripts.tar.gz - สคริปต์การประเมินผล ตัวติดตามพื้นฐาน และเครื่องมืออื่นๆ
• HWU_baseline.zip - เครื่องมือติดตามพื้นฐานทางเลือก จัดทำโดย Zhuoran Wang
• audio_*.tar.gz - เสียงของการโทรทั้งหมดเป็นไฟล์ wav

ผลการท้าทายเดิม:

• dstc2_results.zip - ผลลัพธ์ทั้งหมดของ DSTC 2
• dstc2_results_small.zip - ผลลัพธ์สำหรับ DSTC 2 ไม่รวมเอาต์พุตตัวติดตาม
• dstc3_results.zip - ผลลัพธ์ทั้งหมดของ DSTC 3
• dstc3_results_small.zip - ผลลัพธ์สำหรับ DSTC 3 ไม่รวมเอาต์พุตตัวติดตาม

ภาพรวม

ความท้าทายในการติดตามสถานะกล่องโต้ตอบ 2 และ 3 (DSTC2&3) เป็นความท้าทายด้านการวิจัยที่มุ่งเน้นไปที่การปรับปรุงความทันสมัยในการติดตามสถานะของระบบการสนทนาด้วยเสียง การติดตามสถานะ บางครั้งเรียกว่าการติดตามความเชื่อ หมายถึงการประมาณเป้าหมายของผู้ใช้อย่างแม่นยำในขณะที่บทสนทนาดำเนินไป การติดตามสถานะที่แม่นยำเป็นสิ่งที่พึงปรารถนา เนื่องจากจะทำให้ข้อผิดพลาดในการรู้จำเสียงมีความคงทน และช่วยลดความคลุมเครือของภาษาภายในกระบวนการชั่วคราว เช่น บทสนทนา

ในความท้าทายเหล่านี้ ผู้เข้าร่วมจะได้รับกลุ่มบทสนทนาที่มีป้ายกำกับเพื่อพัฒนาอัลกอริธึมการติดตามสถานะ จากนั้นตัวติดตามจะได้รับการประเมินในชุดกล่องโต้ตอบที่ถูกระงับทั่วไป ซึ่งได้รับการเผยแพร่และไม่มีป้ายกำกับในช่วงระยะเวลาหนึ่งสัปดาห์

คลังข้อมูลถูกรวบรวมโดยใช้ Amazon Mechanical Turk และประกอบด้วยกล่องโต้ตอบในสองโดเมน: ข้อมูลร้านอาหาร และข้อมูลการท่องเที่ยว ข้อมูลการท่องเที่ยวจะรวมข้อมูลร้านอาหารเข้าด้วยกัน และรวมถึงบาร์ คาเฟ่ ฯลฯ รวมถึงช่องใหม่หลายช่อง มีการประเมินสองรอบโดยใช้ข้อมูลนี้:

• DSTC 2 เผยแพร่กล่องโต้ตอบการฝึกอบรมจำนวนมากที่เกี่ยวข้องกับการค้นหาร้านอาหาร เมื่อเปรียบเทียบกับ DSTC (ซึ่งอยู่ในโดเมนตารางเวลารถบัส) DSTC 2 แนะนำการเปลี่ยนแปลงเป้าหมายผู้ใช้ ติดตาม 'ช่วงเวลาที่ขอ' รวมถึงโดเมนร้านอาหารใหม่ ผลลัพธ์จาก DSTC 2 ถูกนำเสนอที่ SIGDIAL 2014
• DSTC 3 แก้ไขปัญหาการปรับตัวให้เข้ากับโดเมนใหม่ นั่นคือ ข้อมูลการท่องเที่ยว DSTC 3 เผยแพร่ข้อมูลที่มีป้ายกำกับจำนวนเล็กน้อยในโดเมนข้อมูลการท่องเที่ยว ผู้เข้าร่วมจะใช้ข้อมูลนี้บวกกับข้อมูลร้านอาหารจาก DSTC 2 สำหรับการฝึกอบรม

กล่องโต้ตอบที่ใช้สำหรับการฝึกอบรมมีป้ายกำกับครบถ้วน การถอดเสียงผู้ใช้ ความหมายโต้ตอบของผู้ใช้ และสถานะกล่องโต้ตอบล้วนมีคำอธิบายประกอบอยู่ (คลังข้อมูลนี้จึงเหมาะสำหรับการศึกษาความเข้าใจภาษาพูดด้วย)

สำหรับข้อมูลโดยละเอียดเพิ่มเติม โปรดดูที่คู่มือ

การอ้างอิง

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}