dstc

對話狀態追蹤挑戰 2 和 3 數據

資料曾經託管在 http://camdial.org/~mh521/dstc/ 上

資料下載

查看版本下的所有內容。

• handbook.pdf - DSTC 2 和 3 手冊，包含有關所用資料格式的信息
• dstc2_traindev.tar.gz - DSTC 2 的訓練和開發資料集。
• dstc2_test.tar.gz - DSTC 2 的測試資料集。
• dstc3_seed.tar.gz - DSTC 3 的標記種子資料集。
• dstc3_test.tar.gz - DSTC 3 的測試資料集。
• dstc2_scripts.tar.gz - 評估腳本、基線追蹤器和其他工具。
• HWU_baseline.zip - 替代基線追蹤器，由 Zhuoran Wang 提供。
• audio_*.tar.gz - 所有通話的音頻，作為 wav 文件

原始挑戰結果：

• dstc2_results.zip - DSTC 2 的完整結果。
• dstc2_results_small.zip - DSTC 2 的結果，不包括追蹤器輸出。
• dstc3_results.zip - DSTC 3 的完整結果。
• dstc3_results_small.zip - DSTC 3 的結果，不包括追蹤器輸出。

概述

對話狀態追蹤挑戰 2 和 3 (DSTC2&3) 是研究挑戰，重點是提高追蹤語音對話系統狀態的技術水準。狀態跟踪，有時稱為信念跟踪，是指隨著對話的進展準確估計用戶的目標。準確的狀態追蹤是可取的，因為它提供了對語音識別中的錯誤的穩健性，並有助於減少對話等時間過程中語言固有的歧義。

在這些挑戰中，參與者獲得了帶有標籤的對話語料庫來開發狀態追蹤演算法。然後，追蹤器在一組常見的保留對話上進行評估，這些對話在一周內發布，未標記。

這個語料庫是使用 Amazon Mechanical Turk 收集的，由兩個領域的對話組成：餐廳資訊和旅遊資訊。旅遊資訊包含餐廳訊息，包括酒吧、咖啡館等以及多個新時段。使用該數據進行了兩輪評估：

• DSTC 2發布了大量與餐廳搜尋相關的訓練對話框。與 DSTC（屬於公車時刻表領域）相比，DSTC 2 引入了不斷變化的用戶目標、追蹤「請求的時段」以及新的餐廳領域。 DSTC 2 的結果已在 SIGDIAL 2014 上發表。
• DSTC 3解決了適應新領域—旅遊資訊的問題。 DSTC 3發布了旅遊資訊領域的少量標籤資料；參與者將使用該數據加上 DSTC 2 中的餐廳數據進行培訓。

用於訓練的對話框有完整的標籤；使用者轉錄、使用者對話行為語義和對話狀態都被註釋。 （因此，該語料庫也適合口語理解研究。）

欲了解更多詳細信息，請參閱手冊。

引文

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}