DSTC6 End to End Conversation Modeling 다운로드 - DSTC6 End to End Conversation Modeling 소스 코드 다운로드

DSTC6 End to End Conversation Modeling

AI 소스 코드

1.0.0

다운로드

DSTC6: 종단 간 대화 모델링 트랙

등록

등록해주세요: https://goo.gl/forms/Fxy061gHuSOZGC1i2

소식

평가 분석 패키지: 2018년 1월 19일
패키지에는 11명의 사람이 생성한 모든 참고 자료, 20개 시스템의 가설, DSTC6 엔드투엔드 대화 모델링 트랙의 평가 결과가 포함되어 있습니다. https://www.dropbox.com/s/oh1trbos0tjzn7t/dstc6_t2_evaluation.tgz
공식 훈련 데이터 다운로드: 2017년 9월 7~18일
테스트 데이터 배포: 2017년 9월 25일
제출일: 2017년 10월 8일

Easy 3 Step Data Collection

트랙 설명

주요 업무(필수) : 트위터를 이용한 고객 서비스 대화
(*) 트위터 데이터를 다운로드하고 해당 데이터를 대화 형식으로 변환하는 도구가 제공됩니다.
작업 A: 훈련 데이터의 전체 또는 일부가 대화 모델을 훈련하는 데 사용됩니다.
작업 B: 웹 등의 공개 데이터를 정보 문장을 생성하기 위한 외부 지식으로 사용할 수 있습니다. 하지만 주최측이 제공하는 교육, 검증, 테스트 데이터와 중복되어서는 안 됩니다.
파일럿 작업: OpenSubtitle을 사용한 영화 시나리오 대화

이 설정을 사용하여 결과를 게시하려면 다음 논문을 인용하십시오.

https://arxiv.org/pdf/1706.07440.pdf

 @article{DSTC6_End-to-End_Conversation_Modeling,
  Author = {Chiori Hori and Takaaki Hori},
  Title = {End-to-end Conversation Modeling Track in DSTC6},    
  Journal = {arXiv:1706.07440},    
  Year = {2017}
}

필요한 단계

준비

대부분의 도구는 python2.7.6+ 및 python3.4.1+에서 테스트된 Python으로 작성되었으며 일부 bash 스크립트도 이러한 도구를 실행하는 데 사용됩니다.

데이터 준비를 위해서는 다음과 같은 추가 Python 모듈이 필요합니다.

육
tqdm
nltk

에 의해 설치될 수 있는

 pip install

또는

 pip install  -t

여기서 는 Python 모듈을 저장하는 디렉터리이며 Python에서 액세스할 수 있어야 합니다(예: PYTHONPATH 환경 변수에 포함).

기본 시스템을 사용해 보려면 신경 대화 모델의 훈련 및 평가를 수행하기 위해 딥 러닝 툴킷인 Chainer http://chainer.org가 필요합니다. ChatbotBaseline/README.md 의 지침을 따르십시오.

트위터 작업

collect_twitter_dialogs 스크립트를 사용하여 데이터 세트를 준비합니다.
```
 $ cd collect_twitter_dialogs
$ collect.sh
```
(스크립트를 실행하려면 트위터 계정과 액세스 키가 필요합니다. collect_twitter_dialogs/README.md 의 지침을 따르세요)
저장된 트위터 대화 데이터에서 교육, 개발 및 테스트 세트 추출
```
 $ cd ../tasks/twitter
$ make_trial_data.sh
```
참고: 추출된 데이터는 현재 시험 데이터입니다.
기준 시스템 실행(선택 사항)
```
 $ cd ../../ChatbotBaseline/egs/twitter
$ run.sh
```
( ChatbotBaseline/README.md 참조)

OpenSubtitles 작업

OpenSubtitles2016 데이터 다운로드

 $ cd tasks/opensubs
$ wget http://opus.lingfil.uu.se/download.php?f=OpenSubtitles2016/en.tar.gz
$ tar zxvf en.tar.gz

저장된 자막 데이터에서 교육, 개발 및 테스트 세트 추출
```
 $ make_trial_data.sh
```
참고: 추출된 데이터는 현재 시험 데이터입니다.
기준 시스템 실행(선택 사항)
```
 $ cd ../../ChatbotBaseline/egs/opensubs
$ run.sh
```
( ChatbotBaseline/README.md 참조)