DSTC6 End to End Conversation Modeling

DSTC6: Trilha de modelagem de conversa de ponta a ponta

Cadastro

Por favor, registre-se: https://goo.gl/forms/Fxy061gHuSOZGC1i2

Notícias

• Pacote de análise de avaliação: 19 de janeiro de 2018

  O pacote inclui todas as referências geradas por 11 humanos, hipóteses de 20 sistemas e resultados de avaliação na trilha de modelagem de conversação ponta a ponta DSTC6. https://www.dropbox.com/s/oh1trbos0tjzn7t/dstc6_t2_evaluation.tgz

• Baixe os dados oficiais de treinamento: 7 a 18 de setembro de 2017

• Distribuição de dados de teste: 25 de setembro de 2017

• Envio: 8 de outubro de 2017

Descrição da trilha

1. Tarefa principal (obrigatória): Diálogo de atendimento ao cliente usando o Twitter

   (*) São fornecidas as ferramentas para baixar os dados do Twitter e transformá-los para o formato de diálogo a partir dos dados.

   Tarefa A: Todos ou parte dos dados de treinamento serão usados ​​para treinar modelos de conversação.

   Tarefa B: Quaisquer dados abertos, por exemplo, da web, estão disponíveis como conhecimento externo para gerar frases informativas. Mas não devem sobrepor-se aos dados de formação, validação e teste fornecidos pelos organizadores.

2. Tarefa piloto: Diálogo de cenário de filme usando OpenSubtitle

• Cite o seguinte artigo se você publicar os resultados usando esta configuração:

  https://arxiv.org/pdf/1706.07440.pdf

   @article{DSTC6_End-to-End_Conversation_Modeling,
    Author = {Chiori Hori and Takaaki Hori},
    Title = {End-to-end Conversation Modeling Track in DSTC6},    
    Journal = {arXiv:1706.07440},    
    Year = {2017}
  }
  

Etapas necessárias

Preparação

A maioria das ferramentas é escrita em python, que foi testada em python2.7.6+ e python3.4.1+, e alguns scripts bash também são usados ​​para executar essas ferramentas.

Para preparação de dados, você precisará de módulos python adicionais como segue:

• seis
• tqdm
• nltk

que pode ser instalado por

 pip install 

ou

 pip install  -t 

onde é um diretório que armazena módulos python e precisa ser acessível a partir do python, por exemplo, incluindo-o na variável de ambiente PYTHONPATH.

Se você experimentar o sistema de linha de base, precisará do Chainer http://chainer.org, um kit de ferramentas de aprendizado profundo, para realizar treinamento e avaliação de modelos de conversação neural. Siga as instruções em ChatbotBaseline/README.md .

Tarefa do Twitter

1. prepare o conjunto de dados usando scripts collect_twitter_dialogs .

    $ cd collect_twitter_dialogs
   $ collect.sh
   

   (uma conta do Twitter e chaves de acesso são necessárias para executar o script. siga as instruções em collect_twitter_dialogs/README.md )

2. extrair conjuntos de treinamento, desenvolvimento e teste de dados armazenados de diálogo do Twitter

    $ cd ../tasks/twitter
   $ make_trial_data.sh
   

   Nota: os dados extraídos são dados de teste neste momento.

3. executar sistema de linha de base (opcional)

    $ cd ../../ChatbotBaseline/egs/twitter
   $ run.sh
   

   (veja ChatbotBaseline/README.md )

Tarefa OpenSubtitles

1. baixar dados do OpenSubtitles2016

    $ cd tasks/opensubs
   $ wget http://opus.lingfil.uu.se/download.php?f=OpenSubtitles2016/en.tar.gz
   $ tar zxvf en.tar.gz
   

2. extrair conjuntos de treinamento, desenvolvimento e teste de dados de legendas armazenados

    $ make_trial_data.sh
   

   Nota: os dados extraídos são dados de teste neste momento.

3. executar sistema de linha de base (opcional)

    $ cd ../../ChatbotBaseline/egs/opensubs
   $ run.sh
   

   (veja ChatbotBaseline/README.md )

Diretórios e arquivos

• README.md: este arquivo
• tarefas: preparação de dados para cada subtarefa
• collect_twitter_dialogs: scripts para coletar dados do Twitter
• ChatbotBaseline: um sistema de linha de base do modelo de conversa neural

Informações de contato

Você pode obter as atualizações mais recentes e participar de discussões na lista de discussão do DSTC

Para aderir à mailing list, envie um email para: ([email protected]) colocando “subscribe DSTC” no corpo da mensagem (sem as aspas). Para postar uma mensagem, envie-a para: ([email protected]).