MMDialog

MMDialog : un ensemble de données de dialogue multitours à grande échelle vers une conversation multimodale en domaine ouvert

Ce référentiel est le site officiel de l'article ACL'23 : MMDialog : A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation

À propos de l'ensemble de données

Un cas de dialogue de MMDialog :

Statistiques:

Si vous l'utilisez dans votre travail, veuillez citer notre article :

MMDialog, title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation", author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-long.405", doi = "10.18653/v1/2023.acl-long.405", pages = "7348--7363" }">

 @inproceedings{feng-etal-2023- MMDialog ,
    title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation",
    author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.405",
    doi = "10.18653/v1/2023.acl-long.405",
    pages = "7348--7363"
}

Format du dossier de l'ensemble de données :

Fichier : conversations.json

Note:

1. L'ensemble de formation ne contient pas "negative_candidate_media_keys" et "negative_candidate_texts", qui n'existent que dans l'ensemble de test et de validation. Chaque "negative_candidate_xxx" contient 999 candidats négatifs pour la tâche de récupération.
2. Tous les noms de fichiers image sont au format "media_key.jpg".
3. Des mots comme :smiling_face_with_smiling_eyes: et :raising_hands: sont des jetons d'émotion, veuillez vous référer à https://github.com/carpedm20/emoji
4. Pour calculer les scores CLIP dans la métrique MM-Relevance, nous fournissons une démo dans calculate_mmrel.py.
5. Nous fournissons également un exemple d'évaluation pour les métriques évaluées dans une seule modalité (par exemple, BLEU, Recall) dans EvaluationExample.md.

Comment obtenir l'ensemble de données

Pour obtenir cet ensemble de données, vous et votre organisation avez besoin :

1. À qui s'adresse-t-il : Vous êtes soit un étudiant à la maîtrise, un doctorant, un post-doctorant, un professeur ou un employé axé sur la recherche dans un établissement universitaire ou une université.
2. Utilisation non commerciale : vous ne devez utiliser cet accès qu'à des fins non commerciales.
3. Planifiez clairement : vous avez un objectif de recherche clairement défini et vous avez des plans spécifiques sur la manière dont vous comptez utiliser et analyser les données de votre recherche.
4. Promettez votre comportement : vous devez promettre que vous ne partagerez pas cet ensemble de données sans notre examen de qualification et notre autorisation.

Si vous ne remplissez pas toutes les conditions ci-dessus, nous ne vous partagerons pas l'ensemble de données.

Nous avons besoin que vous remplissiez le formulaire ci-dessous :

Article	Description
Votre nom	[Votre nom ici]
Votre rôle	[étudiant à la maîtrise / doctorant / post-doctorant / professeur / salarié axé sur la recherche / autres]
Votre organisation d’études ou de travail	par exemple Microsoft Research, DeepMind, Cornell University, ...
Votre page d'accueil académique personnelle avec des publications	Votre [Google Scholar] ou [URL de la page d'accueil exécutée sur le site Web de votre organisation (par exemple, votrenom.people.xxx.edu / votrenom.xxx.people.msr.microsoft.com)] avec vos publications.
Utilisation non commerciale	Je [promets / ne peux pas promettre] que je n'appliquerai pas cet ensemble de données MMDialog à des scénarios ou à des produits commerciaux.
Limitation de partage	Je [promets / ne peux pas promettre] que je ne partagerais pas cet ensemble de données MMDialog sans votre examen de qualification et votre autorisation.
Votre forfait	(Décrivez votre plan de recherche et comment vous comptez utiliser et analyser les données de votre recherche. >= 50 mots )

Utilisez ensuite votre compte de messagerie d'éducation ou de recherche pour envoyer le formulaire à [[email protected]] pour un examen. Si vous remplissez toutes les conditions, nous vous partagerons un dossier cloud qui stocke l'ensemble de données prétraité dans un délai d'une semaine. .