MMDialog

MMDialog : un conjunto de datos de diálogo de múltiples turnos a gran escala hacia una conversación multimodal de dominio abierto

Este repositorio es el sitio oficial del documento ACL'23: MMDialog : un conjunto de datos de diálogo de múltiples turnos a gran escala hacia una conversación multimodal de dominio abierto

Acerca del conjunto de datos

Un caso de diálogo de MMDialog :

Estadística:

Si lo utiliza en su trabajo, cite nuestro artículo:

MMDialog, title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation", author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-long.405", doi = "10.18653/v1/2023.acl-long.405", pages = "7348--7363" }">

 @inproceedings{feng-etal-2023- MMDialog ,
    title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation",
    author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.405",
    doi = "10.18653/v1/2023.acl-long.405",
    pages = "7348--7363"
}

Formato de carpeta del conjunto de datos:

Archivo: conversaciones.json

Nota:

1. El conjunto de entrenamiento no contiene "negative_candidate_media_keys" ni "negative_candidate_texts", que solo existen en el conjunto de prueba y validación. Cada "negative_candidate_xxx" contiene 999 candidatos negativos para la tarea de recuperación.
2. Todos los nombres de archivos de imágenes están en formato "media_key.jpg".
3. Palabras como :smiling_face_with_smiling_eyes: y :raising_hands: son tokens de emoción, consulte https://github.com/carpedm20/emoji
4. Para calcular las puntuaciones CLIP en la métrica MM-Relevance, proporcionamos una demostración en Compute_mmrel.py.
5. También proporcionamos un ejemplo de evaluación para métricas evaluadas dentro de una única modalidad (por ejemplo, BLEU, Recall) en EvaluationExample.md.

Cómo obtener el conjunto de datos

Para obtener este conjunto de datos, usted y su organización necesitan:

1. Para quién es: usted es un estudiante de maestría, un candidato a doctorado, un posdoctorado, un profesor o un empleado centrado en la investigación en una institución académica o universidad.
2. Uso no comercial: Sólo deberás utilizar este acceso con fines no comerciales.
3. Planifique claramente: tiene un objetivo de investigación claramente definido y tiene planes específicos sobre cómo pretende utilizar y analizar estos datos de su investigación.
4. Prometa su comportamiento: debe prometer que no compartirá este conjunto de datos sin nuestra revisión de calificación y permiso.

Si no cumple con todos los requisitos anteriores, no le compartiremos el conjunto de datos.

Necesitamos que rellenes el siguiente formulario:

Artículo	Descripción
Su nombre	[Tu nombre aquí]
Tu papel	[estudiante de maestría / candidato a doctorado / postdoctorado / docente / empleado centrado en la investigación / otros]
Tu organización de estudio u trabajo	por ejemplo, Microsoft Research, DeepMind, Universidad de Cornell, ...
Su página de inicio académica personal con publicaciones	Su [Google Scholar] o [Homepage_URL que se ejecuta en el sitio web de su organización (por ejemplo, yourname.people.xxx.edu / yourname.xxx.people.msr.microsoft.com)] con publicaciones.
Uso no comercial	[Prometo/no puedo prometer] que no aplicaré este conjunto de datos MMDialog a escenarios o productos comerciales.
Limitación de uso compartido	Yo [prometo / no puedo prometer] que no compartiría este conjunto de datos MMDialog sin su revisión de calificación y permiso.
Tu Plan	(Describa su plan de investigación y cómo pretende utilizar y analizar estos datos de su investigación. >= 50 palabras )

Luego use su cuenta de correo electrónico de educación o investigación para enviar el formulario a [[email protected]] para una revisión; si cumple con todos los requisitos, le compartiremos una carpeta en la nube que almacena el conjunto de datos preprocesados ​​dentro de una semana. .