dstc

대화 상태 추적 과제 2 및 3 데이터

이 데이터는 http://camdial.org/~mh521/dstc/에서 호스팅되었습니다.

데이터 다운로드

릴리스 아래에서 모두 확인하세요.

• handbook.pdf - 사용된 데이터 형식에 대한 정보가 포함된 DSTC 2 및 3 핸드북
• dstc2_traindev.tar.gz - DSTC 2용 학습 및 개발 데이터세트입니다.
• dstc2_test.tar.gz - DSTC 2용 테스트 데이터세트입니다.
• dstc3_seed.tar.gz - DSTC 3에 대한 레이블이 지정된 시드 데이터세트입니다.
• dstc3_test.tar.gz - DSTC 3용 테스트 데이터 세트입니다.
• dstc2_scripts.tar.gz - 평가 스크립트, 기준선 추적기 및 기타 도구입니다.
• HWU_baseline.zip - Zhuoran Wang이 제공하는 대체 기준선 추적기입니다.
• audio_*.tar.gz - 모든 통화의 오디오(wav 파일)

원래 챌린지 결과:

• dstc2_results.zip - DSTC 2의 전체 결과입니다.
• dstc2_results_small.zip - 추적기 출력을 포함하지 않은 DSTC 2에 대한 결과입니다.
• dstc3_results.zip - DSTC 3의 전체 결과입니다.
• dstc3_results_small.zip - 추적기 출력을 포함하지 않은 DSTC 3에 대한 결과입니다.

개요

대화 상태 추적 과제 2 및 3(DSTC2&3)은 음성 대화 시스템의 상태를 추적하는 최신 기술을 개선하는 데 초점을 맞춘 연구 과제였습니다. 신념 추적이라고도 하는 상태 추적은 대화가 진행됨에 따라 사용자의 목표를 정확하게 추정하는 것을 의미합니다. 정확한 상태 추적은 음성 인식 오류에 대한 견고성을 제공하고 대화와 같은 시간적 프로세스 내에서 언어에 내재된 모호성을 줄이는 데 도움이 되기 때문에 바람직합니다.

이러한 챌린지에서 참가자에게는 상태 추적 알고리즘을 개발하기 위해 레이블이 지정된 대화 말뭉치가 제공되었습니다. 그런 다음 추적기는 일주일 동안 레이블이 지정되지 않은 상태로 출시된 공통된 보류 대화 세트에서 평가되었습니다.

말뭉치는 Amazon Mechanical Turk를 사용하여 수집되었으며 레스토랑 정보와 관광 정보라는 두 가지 도메인의 대화로 구성됩니다. 관광 정보에는 레스토랑 정보가 포함되며 바, 카페 등은 물론 여러 개의 새로운 슬롯도 포함됩니다. 이 데이터를 사용하여 두 차례의 평가가 있었습니다.

• DSTC 2는 레스토랑 검색과 관련된 다수의 교육 대화 상자를 출시했습니다. DSTC(버스 시간표 도메인에 있음)와 비교하여 DSTC 2는 사용자 목표 변경, '요청된 슬롯' 추적 및 새로운 레스토랑 도메인을 도입했습니다. DSTC 2의 결과는 SIGDIAL 2014에서 발표되었습니다.
• DSTC 3은 관광 정보라는 새로운 영역에 대한 적응 문제를 다루었습니다. DSTC 3은 관광 정보 영역에서 소량의 레이블이 지정된 데이터를 공개합니다. 참가자는 훈련을 위해 이 데이터와 DSTC 2의 레스토랑 데이터를 사용합니다.

훈련에 사용되는 대화상자에는 완전히 라벨이 지정되어 있습니다. 사용자 전사, 사용자 대화-행위 의미 및 대화 상태는 모두 주석 처리됩니다. (따라서 이 코퍼스는 음성 언어 이해 연구에도 적합합니다.)

자세한 내용은 핸드북을 참조하시기 바랍니다.

인용

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}