dstc

Data Tantangan Pelacakan Status Dialog 2 & 3

Data ini dulunya dihosting di http://camdial.org/~mh521/dstc/

Pengunduhan data

Lihat semuanya di bawah Rilis.

• handbook.pdf - Buku Pegangan DSTC 2 & 3 dengan informasi tentang format data yang digunakan
• dstc2_traindev.tar.gz - Melatih dan mengembangkan kumpulan data untuk DSTC 2.
• dstc2_test.tar.gz - Uji kumpulan data untuk DSTC 2.
• dstc3_seed.tar.gz - Kumpulan data benih berlabel untuk DSTC 3.
• dstc3_test.tar.gz - Uji kumpulan data untuk DSTC 3.
• dstc2_scripts.tar.gz - Skrip evaluasi, pelacak dasar, dan alat lainnya.
• HWU_baseline.zip - Pelacak baseline alternatif, disediakan oleh Zhuoran Wang.
• audio_*.tar.gz - audio semua panggilan, sebagai file wav

Hasil tantangan asli:

• dstc2_results.zip - Hasil lengkap DSTC 2.
• dstc2_results_small.zip - Hasil untuk DSTC 2, tidak termasuk keluaran pelacak.
• dstc3_results.zip - Hasil lengkap DSTC 3.
• dstc3_results_small.zip - Hasil untuk DSTC 3, tidak termasuk keluaran pelacak.

Ringkasan

Dialog State Tracking Challenges 2 & 3 (DSTC2&3) adalah tantangan penelitian yang berfokus pada peningkatan kecanggihan dalam melacak keadaan sistem dialog lisan. Pelacakan status, terkadang disebut pelacakan keyakinan, mengacu pada perkiraan akurat tujuan pengguna saat dialog berlangsung. Pelacakan status yang akurat diperlukan karena memberikan ketahanan terhadap kesalahan dalam pengenalan ucapan, dan membantu mengurangi ambiguitas yang melekat dalam bahasa dalam proses temporal seperti dialog.

Dalam tantangan ini, peserta diberi label kumpulan dialog untuk mengembangkan algoritma pelacakan negara. Pelacak tersebut kemudian dievaluasi berdasarkan serangkaian dialog umum yang dirilis, tanpa diberi label, selama periode satu minggu.

Korpus dikumpulkan menggunakan Amazon Mechanical Turk, dan terdiri dari dialog dalam dua domain: informasi restoran, dan informasi wisata. Informasi wisata mencakup informasi restoran, dan mencakup bar, kafe, dll. serta beberapa slot baru. Ada dua putaran evaluasi menggunakan data ini:

• DSTC 2 merilis sejumlah besar dialog pelatihan terkait pencarian restoran. Dibandingkan dengan DSTC (yang berada di domain jadwal bus), DSTC 2 memperkenalkan perubahan tujuan pengguna, pelacakan 'slot yang diminta' serta domain restoran baru. Hasil dari DSTC 2 dipresentasikan pada SIGDIAL 2014.
• DSTC 3 mengatasi masalah adaptasi ke domain baru -- informasi wisata. DSTC 3 merilis sejumlah kecil data berlabel di domain informasi wisata; peserta akan menggunakan data ini ditambah data restoran dari DSTC 2 untuk pelatihan.

Dialog yang digunakan untuk pelatihan diberi label lengkap; transkripsi pengguna, semantik tindakan dialog pengguna, dan status dialog semuanya diberi anotasi. (Oleh karena itu, korpus ini juga cocok untuk studi Pemahaman Bahasa Lisan.)

Untuk informasi lebih rinci, silakan lihat buku panduan.

Kutipan

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}