dstc

Daten der Dialog State Tracking Challenge 2 und 3

Diese Daten wurden früher auf http://camdial.org/~mh521/dstc/ gehostet.

Daten-Downloads

Alle unter „Releases“ anzeigen.

• handbook.pdf – Das DSTC 2 & 3-Handbuch mit Informationen zu den verwendeten Datenformaten
• dstc2_traindev.tar.gz – Trainings- und Entwicklungsdatensätze für DSTC 2.
• dstc2_test.tar.gz – Testdatensatz für DSTC 2.
• dstc3_seed.tar.gz – Beschrifteter Seed-Datensatz für DSTC 3.
• dstc3_test.tar.gz – Testdatensatz für DSTC 3.
• dstc2_scripts.tar.gz – Evaluierungsskripte, Baseline-Tracker und andere Tools.
• HWU_baseline.zip – Alternativer Baseline-Tracker, bereitgestellt von Zhuoran Wang.
• audio_*.tar.gz – Audio aller Anrufe als WAV-Dateien

Ursprüngliche Challenge-Ergebnisse:

• dstc2_results.zip – Vollständige Ergebnisse des DSTC 2.
• dstc2_results_small.zip – Ergebnisse für DSTC 2, ohne Tracker-Ausgaben.
• dstc3_results.zip – Vollständige Ergebnisse des DSTC 3.
• dstc3_results_small.zip – Ergebnisse für DSTC 3, ohne Tracker-Ausgaben.

Überblick

Die Dialog State Tracking Challenges 2 und 3 (DSTC2 und 3) waren Forschungsherausforderungen, die sich auf die Verbesserung des Stands der Technik bei der Verfolgung des Zustands gesprochener Dialogsysteme konzentrierten. State Tracking, manchmal auch Glaubensverfolgung genannt, bezieht sich auf die genaue Schätzung des Ziels des Benutzers im Verlauf eines Dialogs. Eine genaue Zustandsverfolgung ist wünschenswert, da sie Robustheit gegenüber Fehlern bei der Spracherkennung bietet und dazu beiträgt, die der Sprache innewohnende Mehrdeutigkeit innerhalb eines zeitlichen Prozesses wie eines Dialogs zu reduzieren.

Bei diesen Herausforderungen erhielten die Teilnehmer beschriftete Dialogkorpora, um Algorithmen zur Zustandsverfolgung zu entwickeln. Anschließend wurden die Tracker anhand einer gemeinsamen Reihe von Dialogen ausgewertet, die über einen Zeitraum von einer Woche unbeschriftet freigegeben wurden.

Der Korpus wurde mit Amazon Mechanical Turk zusammengestellt und besteht aus Dialogen in zwei Bereichen: Restaurantinformationen und Touristeninformationen. Touristische Informationen umfassen Restaurantinformationen und umfassen Bars, Cafés usw. sowie mehrere neue Slots. Es gab zwei Bewertungsrunden mit diesen Daten:

• DSTC 2 hat eine große Anzahl von Schulungsdialogen zur Restaurantsuche veröffentlicht. Im Vergleich zu DSTC (das im Bereich Busfahrpläne angesiedelt war) führt DSTC 2 veränderte Benutzerziele, die Verfolgung „angefragter Zeitnischen“ sowie den neuen Bereich „Restaurants“ ein. Ergebnisse von DSTC 2 wurden auf der SIGDIAL 2014 vorgestellt.
• DSTC 3 befasste sich mit dem Problem der Anpassung an einen neuen Bereich – Touristeninformationen. DSTC 3 veröffentlicht eine kleine Menge gekennzeichneter Daten im Bereich der Touristeninformationen; Die Teilnehmer nutzen diese Daten sowie die Restaurantdaten von DSTC 2 für das Training.

Für die Schulung verwendete Dialoge sind vollständig beschriftet; Benutzertranskriptionen, Benutzerdialog-Akt-Semantik und Dialogstatus werden alle mit Anmerkungen versehen. (Dieses Korpus eignet sich daher auch für Studien zum Verstehen gesprochener Sprache.)

Nähere Informationen finden Sie im Handbuch.

Zitate

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}