DSTC6 End to End Conversation Modeling

DSTC6: End-to-End-Konversationsmodellierungsspur

Anmeldung

Bitte registrieren Sie sich: https://goo.gl/forms/Fxy061gHuSOZGC1i2

Nachricht

• Evaluierungsanalysepaket: 19. Januar 2018

  Das Paket umfasst alle von 11 Menschen generierten Referenzen, Hypothesen von 20 Systemen und Bewertungsergebnisse im DSTC6-End-to-End-Konversationsmodellierungstrack. https://www.dropbox.com/s/oh1trbos0tjzn7t/dstc6_t2_evaluation.tgz

• Laden Sie die offiziellen Trainingsdaten herunter: 7.–18. September 2017

• Testdatenverteilung: 25. September 2017

• Einreichung: 8. Oktober 2017

Titelbeschreibung

1. Hauptaufgabe (Pflichtfeld): Kundenservice-Dialog über Twitter

   (*) Die Tools zum Herunterladen der Twitter-Daten und zum Umwandeln der Daten in das Dialogformat werden bereitgestellt.

   Aufgabe A: Die Trainingsdaten werden vollständig oder teilweise zum Trainieren von Konversationsmodellen verwendet.

   Aufgabe B: Alle offenen Daten, z. B. aus dem Internet, stehen als externes Wissen zur Verfügung, um informative Sätze zu generieren. Sie sollten sich jedoch nicht mit den von den Veranstaltern bereitgestellten Trainings-, Validierungs- und Testdaten überschneiden.

2. Pilotaufgabe: Filmszenario-Dialog mit OpenSubtitle

• Bitte zitieren Sie das folgende Papier, wenn Sie die Ergebnisse mit diesem Setup veröffentlichen:

  https://arxiv.org/pdf/1706.07440.pdf

   @article{DSTC6_End-to-End_Conversation_Modeling,
    Author = {Chiori Hori and Takaaki Hori},
    Title = {End-to-end Conversation Modeling Track in DSTC6},    
    Journal = {arXiv:1706.07440},    
    Year = {2017}
  }
  

Notwendige Schritte

Vorbereitung

Die meisten Tools sind in Python geschrieben und wurden auf Python2.7.6+ und Python3.4.1+ getestet, und einige Bash-Skripte werden auch zum Ausführen dieser Tools verwendet.

Für die Datenaufbereitung benötigen Sie folgende zusätzliche Python-Module:

• sechs
• tqdm
• nltk

die installiert werden kann durch

 pip install 

oder

 pip install  -t 

Dabei ist ein Verzeichnis, in dem Python-Module gespeichert sind und das von Python aus zugänglich sein muss, z. B. durch Aufnahme in die Umgebungsvariable PYTHONPATH.

Wenn Sie das Basissystem ausprobieren, benötigen Sie Chainer http://chainer.org, ein Deep-Learning-Toolkit, um das Training und die Bewertung neuronaler Konversationsmodelle durchzuführen. Bitte folgen Sie den Anweisungen in ChatbotBaseline/README.md .

Twitter-Aufgabe

1. Bereiten Sie den Datensatz mit den Skripten collect_twitter_dialogs vor.

    $ cd collect_twitter_dialogs
   $ collect.sh
   

   (Zum Ausführen des Skripts sind ein Twitter-Konto und Zugriffsschlüssel erforderlich. Befolgen Sie die Anweisungen in collect_twitter_dialogs/README.md .)

2. Extrahieren Sie Trainings-, Entwicklungs- und Testsätze aus gespeicherten Twitter-Dialogdaten

    $ cd ../tasks/twitter
   $ make_trial_data.sh
   

   Hinweis: Bei den extrahierten Daten handelt es sich derzeit um Testdaten.

3. Basissystem ausführen (optional)

    $ cd ../../ChatbotBaseline/egs/twitter
   $ run.sh
   

   (siehe ChatbotBaseline/README.md )

OpenSubtitles-Aufgabe

1. Laden Sie die OpenSubtitles2016-Daten herunter

    $ cd tasks/opensubs
   $ wget http://opus.lingfil.uu.se/download.php?f=OpenSubtitles2016/en.tar.gz
   $ tar zxvf en.tar.gz
   

2. Extrahieren Sie Trainings-, Entwicklungs- und Testsätze aus gespeicherten Untertiteldaten

    $ make_trial_data.sh
   

   Hinweis: Bei den extrahierten Daten handelt es sich derzeit um Testdaten.

3. Basissystem ausführen (optional)

    $ cd ../../ChatbotBaseline/egs/opensubs
   $ run.sh
   

   (siehe ChatbotBaseline/README.md )

Verzeichnisse und Dateien

• README.md: diese Datei
• Aufgaben: Datenvorbereitung für jede Teilaufgabe
• Collect_twitter_dialogs: Skripte zum Sammeln von Twitter-Daten
• ChatbotBaseline: ein Basissystem für neuronale Konversationsmodelle

Kontaktinformationen

Auf der DSTC-Mailingliste können Sie die neuesten Updates erhalten und an Diskussionen teilnehmen

Um der Mailingliste beizutreten, senden Sie eine E-Mail an: ([email protected]) und fügen Sie „subscribe DSTC“ in den Nachrichtentext ein (ohne Anführungszeichen). Um eine Nachricht zu posten, senden Sie Ihre Nachricht an: ([email protected]).