dstc

Données des défis 2 et 3 de suivi de l'état du dialogue

Ces données étaient hébergées sur http://camdial.org/~mh521/dstc/

Téléchargements de données

Tout afficher sous Versions.

• handbook.pdf - Le manuel DSTC 2 & 3 avec des informations sur les formats de données utilisés
• dstc2_traindev.tar.gz - Ensembles de données de formation et de développement pour DSTC 2.
• dstc2_test.tar.gz - Ensemble de données de test pour DSTC 2.
• dstc3_seed.tar.gz - Ensemble de données de départ étiqueté pour DSTC 3.
• dstc3_test.tar.gz - Ensemble de données de test pour DSTC 3.
• dstc2_scripts.tar.gz - Scripts d'évaluation, suivi de base et autres outils.
• HWU_baseline.zip - Suivi de base alternatif, fourni par Zhuoran Wang.
• audio_*.tar.gz - audio de tous les appels, sous forme de fichiers wav

Résultats du défi original :

• dstc2_results.zip - Résultats complets du DSTC 2.
• dstc2_results_small.zip - Résultats pour le DSTC 2, sans compter les sorties du tracker.
• dstc3_results.zip - Résultats complets du DSTC 3.
• dstc3_results_small.zip - Résultats pour le DSTC 3, sans compter les sorties du tracker.

Aperçu

Les défis de suivi de l'état des dialogues 2 et 3 (DSTC2 et 3) étaient des défis de recherche axés sur l'amélioration de l'état de l'art en matière de suivi de l'état des systèmes de dialogue parlé. Le suivi d'état, parfois appelé suivi des croyances, fait référence à l'estimation précise de l'objectif de l'utilisateur au fur et à mesure de la progression d'un dialogue. Un suivi précis de l’état est souhaitable car il offre une robustesse aux erreurs de reconnaissance vocale et contribue à réduire l’ambiguïté inhérente au langage dans un processus temporel tel que le dialogue.

Dans ces défis, les participants ont reçu des corpus de dialogues étiquetés pour développer des algorithmes de suivi d’état. Les trackers ont ensuite été évalués sur un ensemble commun de dialogues suspendus, qui ont été publiés, sans étiquetage, sur une période d'une semaine.

Le corpus a été collecté à l'aide d'Amazon Mechanical Turk et se compose de dialogues dans deux domaines : les informations sur les restaurants et les informations touristiques. Les informations touristiques englobent les informations sur les restaurants et incluent les bars, cafés, etc. ainsi que plusieurs nouveaux créneaux horaires. Il y a eu deux cycles d'évaluation utilisant ces données :

• DSTC 2 a publié un grand nombre de boîtes de dialogue de formation liées à la recherche de restaurants. Par rapport au DSTC (qui concernait le domaine des horaires de bus), DSTC 2 introduit des objectifs changeants pour les utilisateurs, le suivi des « créneaux demandés » ainsi que le nouveau domaine des restaurants. Les résultats du DSTC 2 ont été présentés au SIGDIAL 2014.
• Le DSTC 3 a abordé le problème de l'adaptation à un nouveau domaine : l'information touristique. DSTC 3 diffuse une petite quantité de données labellisées dans le domaine de l'information touristique ; les participants utiliseront ces données ainsi que les données du restaurant du DSTC 2 pour la formation.

Les boîtes de dialogue utilisées pour la formation sont entièrement étiquetées ; les transcriptions utilisateur, la sémantique des actes de dialogue utilisateur et l'état du dialogue sont tous annotés. (Ce corpus convient donc également aux études sur la compréhension du langage parlé.)

Pour des informations plus détaillées, veuillez consulter le manuel.

Citations

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}