dstc

Dialog State Tracking Challenge 2 e 3 Dados

Esses dados costumavam ser hospedados em http://camdial.org/~mh521/dstc/

Downloads de dados

Veja tudo em Lançamentos.

• handbook.pdf - O Manual DSTC 2 e 3 com informações sobre os formatos de dados usados
• dstc2_traindev.tar.gz - Conjuntos de dados de treinamento e desenvolvimento para DSTC 2.
• dstc2_test.tar.gz - Conjunto de dados de teste para DSTC 2.
• dstc3_seed.tar.gz - Conjunto de dados iniciais rotulados para DSTC 3.
• dstc3_test.tar.gz - Conjunto de dados de teste para DSTC 3.
• dstc2_scripts.tar.gz – Scripts de avaliação, rastreador de linha de base e outras ferramentas.
• HWU_baseline.zip – Rastreador de linha de base alternativo, fornecido por Zhuoran Wang.
• audio_*.tar.gz - áudio de todas as chamadas, como arquivos wav

Resultados originais do desafio:

• dstc2_results.zip – Resultados completos do DSTC 2.
• dstc2_results_small.zip – Resultados para o DSTC 2, não incluindo saídas do rastreador.
• dstc3_results.zip – Resultados completos do DSTC 3.
• dstc3_results_small.zip – Resultados para o DSTC 3, não incluindo saídas do rastreador.

Visão geral

Os Dialog State Tracking Challenges 2 e 3 (DSTC2&3) foram desafios de pesquisa focados em melhorar o estado da arte no rastreamento do estado dos sistemas de diálogo falado. O rastreamento de estado, às vezes chamado de rastreamento de crenças, refere-se à estimativa precisa do objetivo do usuário à medida que o diálogo avança. O rastreamento preciso do estado é desejável porque fornece robustez a erros no reconhecimento de fala e ajuda a reduzir a ambiguidade inerente à linguagem dentro de um processo temporal como o diálogo.

Nesses desafios, os participantes receberam corpora de diálogos rotulados para desenvolver algoritmos de rastreamento de estado. Os rastreadores foram então avaliados em um conjunto comum de diálogos suspensos, que foram liberados, sem rótulos, durante um período de uma semana.

O corpus foi coletado no Amazon Mechanical Turk e consiste em diálogos em dois domínios: informações sobre restaurantes e informações turísticas. A informação turística inclui informações sobre restaurantes e inclui bares, cafés, etc., bem como vários novos espaços. Houve duas rodadas de avaliação usando estes dados:

• O DSTC 2 lançou um grande número de diálogos de treinamento relacionados à busca de restaurantes. Comparado ao DSTC (que estava no domínio de horários de ônibus), o DSTC 2 introduz mudanças nas metas do usuário, rastreando 'slots solicitados', bem como o novo domínio de restaurantes. Os resultados do DSTC 2 foram apresentados no SIGDIAL 2014.
• O DSTC 3 abordou o problema da adaptação a um novo domínio – a informação turística. O DSTC 3 divulga uma pequena quantidade de dados rotulados no domínio da informação turística; os participantes usarão esses dados mais os dados do restaurante do DSTC 2 para treinamento.

Os diálogos usados ​​para treinamento são totalmente rotulados; as transcrições do usuário, a semântica do ato de diálogo do usuário e o estado do diálogo são todos anotados. (Este corpus, portanto, também é adequado para estudos em compreensão da linguagem falada.)

Para informações mais detalhadas, consulte o manual.

Citações

 @inproceedings { henderson2014second ,
  title = { The second dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { Proceedings of the 15th annual meeting of the special interest group on discourse and dialogue (SIGDIAL) } ,
  pages = { 263--272 } ,
  year = { 2014 }
}

@inproceedings { henderson2014third ,
  title = { The third dialog state tracking challenge } ,
  author = { Henderson, Matthew and Thomson, Blaise and Williams, Jason D } ,
  booktitle = { 2014 IEEE Spoken Language Technology Workshop (SLT) } ,
  pages = { 324--329 } ,
  year = { 2014 } ,
  organization = { IEEE }
}

@article { williams2014dialog ,
  title = { The dialog state tracking challenge series } ,
  author = { Williams, Jason D and Henderson, Matthew and Raux, Antoine and Thomson, Blaise and Black, Alan and Ramachandran, Deepak } ,
  journal = { AI Magazine } ,
  volume = { 35 } ,
  number = { 4 } ,
  pages = { 121--124 } ,
  year = { 2014 }
}

@article { williams2016dialog ,
  title = { The dialog state tracking challenge series: A review } ,
  author = { Williams, Jason and Raux, Antoine and Henderson, Matthew } ,
  journal = { Dialogue & Discourse } ,
  volume = { 7 } ,
  number = { 3 } ,
  pages = { 4--33 } ,
  year = { 2016 }
}