DSTC6 End to End Conversation Modelingダウンロード - DSTC6 End to End Conversation Modelingソースコードダウンロード

DSTC6 End to End Conversation Modeling

AI ソースコード

1.0.0

ダウンロード

DSTC6: エンドツーエンドの会話モデリングトラック

登録

登録してください: https://goo.gl/forms/Fxy061gHuSOZGC1i2

ニュース

評価分析パッケージ: 2018 年 1 月 19 日
このパッケージには、11 人の人間によって生成されたすべてのリファレンス、20 のシステムの仮説、および DSTC6 エンドツーエンドの会話モデリングトラックの評価結果が含まれています。 https://www.dropbox.com/s/oh1trbos0tjzn7t/dstc6_t2_evaluation.tgz
公式トレーニングデータのダウンロード: 2017 年 9 月 7 日～18 日
テストデータ配布：2017年9月25日
提出日: 2017 年 10 月 8 日

Easy 3 Step Data Collection

トラックの説明

主な業務（必須）：Twitterを利用した顧客対応ダイアログ
（※）twitterデータをダウンロードし、そのデータから対話形式に変換するツールを提供しています。
タスク A: トレーニングデータの全部または一部を使用して会話モデルをトレーニングします。
タスク B: Web などのオープンデータは、有益な文章を生成するための外部知識として利用できます。ただし、主催者が提供するトレーニング、検証、テストのデータと重複してはなりません。
パイロットタスク: OpenSubtitle を使用したムービーシナリオダイアログ

この設定を使用して結果を公開する場合は、次の論文を引用してください。

https://arxiv.org/pdf/1706.07440.pdf

 @article{DSTC6_End-to-End_Conversation_Modeling,
  Author = {Chiori Hori and Takaaki Hori},
  Title = {End-to-end Conversation Modeling Track in DSTC6},    
  Journal = {arXiv:1706.07440},    
  Year = {2017}
}

必要な手順

準備

ほとんどのツールは Python で書かれており、Python2.7.6 以降および Python3.4.1 以降でテストされており、一部の bash スクリプトはこれらのツールの実行にも使用されます。

データを準備するには、次のような追加の Python モジュールが必要です。

六
tqdm
NLTK

によってインストールできます

 pip install <module-name>

または

 pip install <module-name> -t <some-directory>

ここで、 <some-directory>は Python モジュールを保存するディレクトリであり、たとえば PYTHONPATH 環境変数に含めることにより、Python からアクセスできる必要があります。

ベースラインシステムを試す場合は、ニューラル会話モデルのトレーニングと評価を実行するために、深層学習ツールキットである Chainer http://chainer.org が必要になります。 ChatbotBaseline/README.mdの指示に従ってください。

ツイッタータスク

collect_twitter_dialogsスクリプトを使用してデータセットを準備します。
```
 $ cd collect_twitter_dialogs
$ collect.sh
```
(スクリプトを実行するには Twitter アカウントとアクセスキーが必要です。collect_twitter_dialogs collect_twitter_dialogs/README.mdの指示に従ってください)
保存された Twitter ダイアログデータからトレーニング、開発、テストセットを抽出します
```
 $ cd ../tasks/twitter
$ make_trial_data.sh
```
注: 抽出されたデータは現時点では試験データです。
ベースラインシステムの実行 (オプション)
```
 $ cd ../../ChatbotBaseline/egs/twitter
$ run.sh
```
( ChatbotBaseline/README.md参照)

OpenSubtitles タスク

OpenSubtitles2016 データをダウンロードする

 $ cd tasks/opensubs
$ wget http://opus.lingfil.uu.se/download.php?f=OpenSubtitles2016/en.tar.gz
$ tar zxvf en.tar.gz

保存された字幕データからトレーニング、開発、テストセットを抽出する
```
 $ make_trial_data.sh
```
注: 抽出されたデータは現時点では試験データです。
ベースラインシステムの実行 (オプション)
```
 $ cd ../../ChatbotBaseline/egs/opensubs
$ run.sh
```
( ChatbotBaseline/README.md参照)