MMDialog

MMDialog : крупномасштабный набор данных многоходового диалога на пути к мультимодальному общению в открытом домене

Этот репозиторий является официальным сайтом статьи ACL'23: MMDialog : крупномасштабный набор данных многоходового диалога на пути к мультимодальному диалогу в открытом домене.

О наборе данных

Диалоговый случай MMDialog :

Статистика:

Если вы используете его в своей работе, пожалуйста, цитируйте нашу статью:

MMDialog, title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation", author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-long.405", doi = "10.18653/v1/2023.acl-long.405", pages = "7348--7363" }">

 @inproceedings{feng-etal-2023- MMDialog ,
    title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation",
    author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.405",
    doi = "10.18653/v1/2023.acl-long.405",
    pages = "7348--7363"
}

Формат папки набора данных:

Файл: разговоры.json

Примечание:

1. Обучающий набор не содержит «negative_candidate_media_keys» и «negative_candidate_texts», которые существуют только в тестовом и проверочном наборе. Каждый «negative_candidate_xxx» содержит 999 отрицательных кандидатов для задачи поиска.
2. Все имена файлов изображений имеют формат «media_key.jpg».
3. Такие слова, как :smiling_face_with_smiling_eyes: и :raising_hands: являются маркерами эмоций, см. https://github.com/carpedm20/emoji.
4. Чтобы вычислить баллы CLIP в метрике MM-Relevance, мы предоставляем демонстрационную версию в Compute_mmrel.py.
5. Мы также предоставляем пример оценки показателей, оцениваемых в рамках одной модальности (например, BLEU, Recall) в EvaluationExample.md.

Как получить набор данных

Чтобы получить этот набор данных, вам и вашей организации необходимо:

1. Для кого это: вы либо магистрант, докторант, аспирант, преподаватель, либо исследовательский сотрудник академического учреждения или университета.
2. Некоммерческое использование: вам следует использовать этот доступ только в некоммерческих целях.
3. Четко спланируйте: у вас есть четко определенная цель исследования и конкретные планы относительно того, как вы собираетесь использовать и анализировать данные вашего исследования.
4. Пообещайте свое поведение: вы должны пообещать, что не будете делиться этим набором данных без нашей квалификационной проверки и разрешения.

Если вы не соответствуете всем вышеперечисленным требованиям , мы не предоставим вам набор данных.

Нам нужно, чтобы вы заполнили форму ниже:

Элемент	Описание
Ваше имя	[Ваше имя здесь]
Ваша роль	[магистрант/докторант/постдок/преподаватель/научно-исследовательский работник/другие]
Ваша учебная или рабочая организация	например, Microsoft Research, DeepMind, Корнельский университет, ...
Ваша личная академическая домашняя страница с публикациями	Ваша [Академия Google] или [URL-адрес домашней страницы, работающий на веб-сайте вашей организации (например, yourname.people.xxx.edu / yourname.xxx.people.msr.microsoft.com)] с публикациями.
Некоммерческое использование	Я [обещаю/не могу обещать], что не буду применять этот набор данных MMDialog к коммерческим сценариям или продуктам.
Ограничение общего доступа	Я [обещаю/не могу обещать] Я не буду делиться этим набором данных MMDialog без вашей квалификационной проверки и разрешения.
Ваш план	(Опишите свой план исследования и то, как вы собираетесь использовать и анализировать данные вашего исследования. >= 50 слов ).

Затем используйте свою учебную или исследовательскую учетную запись электронной почты, чтобы отправить форму на адрес [[email protected]] для проверки. Если вы соответствуете всем требованиям, мы предоставим вам облачную папку, в которой будет храниться предварительно обработанный набор данных в течение недели. .