DSTC6 End to End Conversation Modeling
1.0.0
Пожалуйста, зарегистрируйтесь: https://goo.gl/forms/Fxy061gHuSOZGC1i2.
Пакет оценочного анализа: 19 января 2018 г.
Пакет включает в себя все ссылки, созданные 11 людьми, гипотезы 20 систем и результаты оценки в треке сквозного моделирования разговоров DSTC6. https://www.dropbox.com/s/oh1trbos0tjzn7t/dstc6_t2_evaluation.tgz
Загрузите официальные данные тренировок: 7–18 сентября 2017 г.
Распространение тестовых данных: 25 сентября 2017 г.
Представление: 8 октября 2017 г.
Основная задача (обязательная): Диалог со службой поддержки через Twitter.
(*) Предоставляются инструменты для загрузки данных Твиттера и преобразования данных в формат диалога.
Задача А: Полные или частичные данные обучения будут использоваться для обучения моделей разговора.
Задача Б: Любые открытые данные, например, из Интернета, доступны как внешние знания для создания информативных предложений. Но они не должны дублировать данные обучения, валидации и тестирования, предоставленные организаторами.
Пилотная задача: диалоговое окно сценария фильма с использованием OpenSubtitle
Пожалуйста, цитируйте следующую статью, если вы опубликуете результаты с использованием этой установки:
https://arxiv.org/pdf/1706.07440.pdf
@article{DSTC6_End-to-End_Conversation_Modeling,
Author = {Chiori Hori and Takaaki Hori},
Title = {End-to-end Conversation Modeling Track in DSTC6},
Journal = {arXiv:1706.07440},
Year = {2017}
}
Большинство инструментов написаны на Python, которые были протестированы на Python2.7.6+ и Python3.4.1+, а для выполнения этих инструментов также используются некоторые сценарии Bash.
Для подготовки данных вам потребуются дополнительные модули Python следующим образом:
который можно установить с помощью
pip install
или
pip install -t
где
Если вы попробуете базовую систему, вам понадобится Chainer http://chainer.org, набор инструментов глубокого обучения для обучения и оценки моделей нейронного диалога. Пожалуйста, следуйте инструкциям в ChatbotBaseline/README.md .
подготовить набор данных с помощью скриптов collect_twitter_dialogs .
$ cd collect_twitter_dialogs
$ collect.sh
(для запуска скрипта необходима учетная запись Twitter и ключи доступа. Следуйте инструкциям в collect_twitter_dialogs/README.md )
извлекать наборы для обучения, разработки и тестирования из сохраненных данных диалогов в Твиттере
$ cd ../tasks/twitter
$ make_trial_data.sh
Примечание: на данный момент извлеченные данные являются пробными.
запустить базовую систему (необязательно)
$ cd ../../ChatbotBaseline/egs/twitter
$ run.sh
(см. ChatbotBaseline/README.md )
скачать данные OpenSubtitles2016
$ cd tasks/opensubs
$ wget http://opus.lingfil.uu.se/download.php?f=OpenSubtitles2016/en.tar.gz
$ tar zxvf en.tar.gz
извлекать наборы для обучения, разработки и тестирования из сохраненных данных субтитров
$ make_trial_data.sh
Примечание: на данный момент извлеченные данные являются пробными.
запустить базовую систему (необязательно)
$ cd ../../ChatbotBaseline/egs/opensubs
$ run.sh
(см. ChatbotBaseline/README.md )
Вы можете получать последние обновления и участвовать в обсуждениях в списке рассылки DSTC.
Чтобы присоединиться к списку рассылки, отправьте электронное письмо по адресу: ([email protected]), указав в тексте сообщения «подписаться на DSTC» (без кавычек). Чтобы опубликовать сообщение, отправьте его по адресу: ([email protected]).
