dstc

Datos del desafío 2 y 3 del seguimiento del estado del diálogo

Estos datos solían estar alojados en http://camdial.org/~mh521/dstc/

Descargas de datos

Ver todo en Lanzamientos.

• handbook.pdf: el manual DSTC 2 y 3 con información sobre los formatos de datos utilizados
• dstc2_traindev.tar.gz: conjuntos de datos de entrenamiento y desarrollo para DSTC 2.
• dstc2_test.tar.gz: conjunto de datos de prueba para DSTC 2.
• dstc3_seed.tar.gz: conjunto de datos de semillas etiquetadas para DSTC 3.
• dstc3_test.tar.gz: conjunto de datos de prueba para DSTC 3.
• dstc2_scripts.tar.gz: scripts de evaluación, rastreador de referencia y otras herramientas.
• HWU_baseline.zip: rastreador de referencia alternativo, proporcionado por Zhuoran Wang.
• audio_*.tar.gz - audio de todas las llamadas, como archivos wav

Resultados originales del desafío:

• dstc2_results.zip: resultados completos del DSTC 2.
• dstc2_results_small.zip: resultados para DSTC 2, sin incluir las salidas del rastreador.
• dstc3_results.zip: resultados completos del DSTC 3.
• dstc3_results_small.zip: resultados para DSTC 3, sin incluir las salidas del rastreador.

Descripción general

Los desafíos de seguimiento del estado de diálogo 2 y 3 (DSTC2 y 3) fueron un desafío de investigación centrado en mejorar el estado del arte en el seguimiento del estado de los sistemas de diálogo hablado. El seguimiento de estado, a veces llamado seguimiento de creencias, se refiere a estimar con precisión el objetivo del usuario a medida que avanza el diálogo. Es deseable un seguimiento de estado preciso porque proporciona solidez ante errores en el reconocimiento de voz y ayuda a reducir la ambigüedad inherente al lenguaje dentro de un proceso temporal como el diálogo.

En estos desafíos, los participantes recibieron corpus de diálogos etiquetados para desarrollar algoritmos de seguimiento de estado. Luego, los rastreadores fueron evaluados en un conjunto común de diálogos retenidos, que se publicaron, sin etiquetar, durante un período de una semana.

El corpus se recopiló utilizando Amazon Mechanical Turk y consta de diálogos en dos dominios: información de restaurantes e información turística. La información turística incluye información sobre restaurantes e incluye bares, cafeterías, etc., así como múltiples espacios nuevos. Hubo dos rondas de evaluación utilizando estos datos:

• DSTC 2 lanzó una gran cantidad de diálogos de capacitación relacionados con la búsqueda de restaurantes. En comparación con DSTC (que estaba en el dominio de horarios de autobuses), DSTC 2 introduce cambios en los objetivos de los usuarios, el seguimiento de los "espacios solicitados" y el nuevo dominio de restaurantes. Los resultados de DSTC 2 fueron presentados en SIGDIAL 2014.
• DSTC 3 abordó el problema de la adaptación a un nuevo ámbito: la información turística. DSTC 3 publica una pequeña cantidad de datos etiquetados en el dominio de información turística; Los participantes utilizarán estos datos más los datos del restaurante de DSTC 2 para la capacitación.

Los diálogos utilizados para la capacitación están completamente etiquetados; Se anotan las transcripciones de los usuarios, la semántica de los actos de diálogo del usuario y el estado del diálogo. (Por lo tanto, este corpus también es adecuado para estudios de comprensión del lenguaje hablado).

Para obtener información más detallada, consulte el manual.

Citas

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}