dstc

Диалоговое окно «Отслеживание состояния данных задач 2 и 3»

Раньше эти данные размещались на http://camdial.org/~mh521/dstc/.

Загрузка данных

Посмотреть все в разделе «Релизы».

• Handbook.pdf — Справочник DSTC 2 и 3 с информацией об используемых форматах данных.
• dstc2_traindev.tar.gz — наборы данных для обучения и разработки для DSTC 2.
• dstc2_test.tar.gz — тестовый набор данных для DSTC 2.
• dstc3_seed.tar.gz — маркированный исходный набор данных для DSTC 3.
• dstc3_test.tar.gz — тестовый набор данных для DSTC 3.
• dstc2_scripts.tar.gz — сценарии оценки, средство отслеживания базовых показателей и другие инструменты.
• HWU_baseline.zip — альтернативный трекер базовой линии, предоставленный Чжуораном Вангом.
• audio_*.tar.gz — аудио всех звонков в формате wav-файлов

Оригинальные результаты конкурса:

• dstc2_results.zip — полные результаты DSTC 2.
• dstc2_results_small.zip — результаты для DSTC 2, не включая результаты трекера.
• dstc3_results.zip — полные результаты DSTC 3.
• dstc3_results_small.zip — результаты для DSTC 3, не включая результаты трекера.

Обзор

Задачи отслеживания состояния диалога 2 и 3 (DSTC2 и 3) представляли собой исследовательскую задачу, направленную на улучшение современного состояния систем отслеживания состояния разговорных диалогов. Отслеживание состояния, иногда называемое отслеживанием убеждений, относится к точной оценке цели пользователя по мере развития диалога. Точное отслеживание состояния желательно, поскольку оно обеспечивает устойчивость к ошибкам в распознавании речи и помогает уменьшить двусмысленность, присущую языку в таких временных процессах, как диалог.

В этих задачах участникам были предоставлены помеченные корпуса диалогов для разработки алгоритмов отслеживания состояния. Затем трекеры оценивались по общему набору отложенных диалогов, которые выпускались без пометок в течение одной недели.

Корпус был собран с помощью Amazon Mechanical Turk и состоит из диалогов в двух областях: информация о ресторанах и туристическая информация. Туристическая информация включает информацию о ресторанах и включает в себя бары, кафе и т. д., а также несколько новых слотов. Было проведено два раунда оценки с использованием этих данных:

• DSTC 2 выпустила большое количество обучающих диалогов, связанных с поиском ресторанов. По сравнению с DSTC (который использовался в области расписаний автобусов), DSTC 2 вводит изменение целей пользователя, отслеживание «запрошенных мест», а также новый домен ресторанов. Результаты DSTC 2 были представлены на SIGDIAL 2014.
• DSTC 3 обратился к проблеме адаптации к новой области – туристической информации. DSTC 3 выпускает небольшой объем размеченных данных в области туристической информации; участники будут использовать эти данные, а также данные о ресторанах из DSTC 2 для обучения.

Диалоги, используемые для обучения, полностью помечены; пользовательские транскрипции, семантика диалоговых действий пользователя и состояние диалога — все это аннотировано. (Поэтому этот корпус также подходит для изучения понимания разговорной речи.)

Более подробную информацию можно найти в справочнике.

Цитаты

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}