DSTC6 End to End Conversation Modeling

DSTC6: Jalur Pemodelan Percakapan Ujung-ke-Ujung

Pendaftaran

Silakan mendaftar: https://goo.gl/forms/Fxy061gHuSOZGC1i2

Berita

• Paket analisis evaluasi: 19 Jan 2018

  Paket ini mencakup semua referensi yang dihasilkan oleh 11 manusia, hipotesis dari 20 sistem, dan hasil evaluasi dalam jalur pemodelan percakapan end-to-end DSTC6. https://www.dropbox.com/s/oh1trbos0tjzn7t/dstc6_t2_evaluation.tgz

• Unduh data pelatihan resmi: 7-18 Sep 2017

• Distribusi data uji: 25 Sep 2017

• Pengiriman: 8 Oktober 2017

Deskripsi Lagu

1. Tugas utama (wajib): Dialog layanan pelanggan menggunakan Twitter

   (*) Alat untuk mengunduh data Twitter dan mengubahnya ke format dialog dari data disediakan.

   Tugas A: Seluruh atau sebagian data pelatihan akan digunakan untuk melatih model percakapan.

   Tugas B: Data terbuka apa pun, misalnya dari web, tersedia sebagai pengetahuan eksternal untuk menghasilkan kalimat informatif. Namun data tersebut tidak boleh tumpang tindih dengan data pelatihan, validasi, dan pengujian yang diberikan oleh penyelenggara.

2. Tugas percontohan: Dialog skenario film menggunakan OpenSubtitle

• Silakan kutip makalah berikut jika Anda akan mempublikasikan hasilnya menggunakan pengaturan ini:

  https://arxiv.org/pdf/1706.07440.pdf

   @article{DSTC6_End-to-End_Conversation_Modeling,
    Author = {Chiori Hori and Takaaki Hori},
    Title = {End-to-end Conversation Modeling Track in DSTC6},    
    Journal = {arXiv:1706.07440},    
    Year = {2017}
  }
  

Langkah-langkah yang diperlukan

Persiapan

Sebagian besar alat ditulis dalam python, yang diuji pada python2.7.6+ dan python3.4.1+, dan beberapa skrip bash juga digunakan untuk menjalankan alat tersebut.

Untuk penyiapan data, diperlukan modul python tambahan sebagai berikut:

• enam
• tqdm
• nltk

yang dapat diinstal oleh

 pip install 

atau

 pip install  -t 

di mana adalah direktori yang menyimpan modul python dan harus dapat diakses dari python, misalnya dengan memasukkannya ke dalam variabel lingkungan PYTHONPATH.

Jika Anda mencoba sistem dasar, Anda memerlukan Chainer http://chainer.org, perangkat pembelajaran mendalam, untuk melakukan pelatihan dan evaluasi model percakapan saraf. Silakan ikuti instruksi di ChatbotBaseline/README.md .

tugas Twitter

1. menyiapkan kumpulan data menggunakan skrip collect_twitter_dialogs .

    $ cd collect_twitter_dialogs
   $ collect.sh
   

   (akun twitter dan kunci akses diperlukan untuk menjalankan skrip. ikuti instruksi di collect_twitter_dialogs/README.md )

2. ekstrak set pelatihan, pengembangan, dan pengujian dari data dialog Twitter yang disimpan

    $ cd ../tasks/twitter
   $ make_trial_data.sh
   

   Catatan: data yang diekstrak saat ini adalah data uji coba.

3. menjalankan sistem dasar (opsional)

    $ cd ../../ChatbotBaseline/egs/twitter
   $ run.sh
   

   (lihat ChatbotBaseline/README.md )

tugas OpenSubtitle

1. unduh data OpenSubtitles2016

    $ cd tasks/opensubs
   $ wget http://opus.lingfil.uu.se/download.php?f=OpenSubtitles2016/en.tar.gz
   $ tar zxvf en.tar.gz
   

2. mengekstrak set pelatihan, pengembangan, dan pengujian dari data subtitle yang disimpan

    $ make_trial_data.sh
   

   Catatan: data yang diekstraksi adalah data uji coba saat ini.

3. menjalankan sistem dasar (opsional)

    $ cd ../../ChatbotBaseline/egs/opensubs
   $ run.sh
   

   (lihat ChatbotBaseline/README.md )

Direktori dan file

• README.md : file ini
• tugas : persiapan data untuk setiap subtugas
• collector_twitter_dialogs : skrip untuk mengumpulkan data twitter
• ChatbotBaseline : sistem dasar model percakapan saraf

Informasi Kontak

Anda bisa mendapatkan update terkini dan berpartisipasi dalam diskusi di milis DSTC

Untuk bergabung dengan milis, kirim email ke: ([email protected]) dengan mencantumkan "berlangganan DSTC" di badan pesan (tanpa tanda kutip). Untuk mengirim pesan, kirim pesan Anda ke: ([email protected]).