MMDialog

MMDialog : um conjunto de dados de diálogo multiturno em grande escala em direção a uma conversa multimodal de domínio aberto

Este repositório é o site oficial do artigo ACL'23: MMDialog : um conjunto de dados de diálogo multiturno em larga escala em direção a uma conversa multimodal de domínio aberto

Sobre o conjunto de dados

Um caso de diálogo do MMDialog :

Estatísticas:

Se você usá-lo em seu trabalho, cite nosso artigo:

MMDialog, title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation", author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-long.405", doi = "10.18653/v1/2023.acl-long.405", pages = "7348--7363" }">

 @inproceedings{feng-etal-2023- MMDialog ,
    title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation",
    author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.405",
    doi = "10.18653/v1/2023.acl-long.405",
    pages = "7348--7363"
}

Formato da pasta do conjunto de dados:

Arquivo: conversas.json

Observação:

1. O conjunto de treinamento não contém "negative_candidate_media_keys" e "negative_candidate_texts", que existem apenas no conjunto de teste e validação. Cada "negative_candidate_xxx" contém 999 candidatos negativos para tarefa de recuperação.
2. Todos os nomes de arquivos de imagem estão no formato "media_key.jpg".
3. Palavras como :smiling_face_with_smiling_eyes: e :raising_hands: são tokens de emoção, consulte https://github.com/carpedm20/emoji
4. Para calcular as pontuações CLIP na métrica MM-Relevance, fornecemos uma demonstração em compute_mmrel.py.
5. Também fornecemos um exemplo de avaliação para métricas avaliadas dentro de uma única modalidade (por exemplo, BLEU, Recall) em EvaluationExample.md.

Como obter o conjunto de dados

Para obter esse conjunto de dados, você e sua organização precisam de:

1. Para quem se destina: você é aluno de mestrado, doutorando, pós-doutorado, docente ou funcionário focado em pesquisa em uma instituição acadêmica ou universidade.
2. Uso não comercial: Você só deve usar este acesso para fins não comerciais.
3. Planeje claramente: você tem um objetivo de pesquisa claramente definido e planos específicos sobre como pretende usar e analisar esses dados de sua pesquisa.
4. Prometa seu comportamento: você deve prometer que não compartilharia este conjunto de dados sem nossa revisão de qualificação e permissão.

Se você não atender a todos os requisitos acima, não compartilharemos o conjunto de dados com você.

Precisamos que você preencha o formulário abaixo:

Item	Descrição
Seu nome	[Seu nome aqui]
Seu papel	[mestrando/doutorando/pós-doutorado/docente/funcionário com foco em pesquisa/outros]
Seu estudo ou organização de trabalho	por exemplo, Microsoft Research, DeepMind, Universidade Cornell, ...
Sua página acadêmica pessoal com publicações	Seu [Google Scholar] ou [Homepage_URL em execução no site da sua organização (por exemplo, seunome.people.xxx.edu / seunome.xxx.people.msr.microsoft.com)] com publicações.
Uso não comercial	Eu [prometo/não posso prometer] que não aplicarei este conjunto de dados MMDialog a cenários ou produtos comerciais.
Limitação de compartilhamento	Eu [prometo/não posso prometer] que não compartilharia este conjunto de dados MMDialog sem sua revisão de qualificação e permissão.
Seu plano	(Descreva seu plano de pesquisa e como você pretende usar e analisar esses dados de sua pesquisa. >= 50 palavras )

Em seguida, use sua conta de e-mail educacional ou de pesquisa para enviar o formulário para [[email protected]] para uma revisão. Se você atender a todos os requisitos, compartilharemos com você uma pasta na nuvem que armazena o conjunto de dados pré-processado dentro de uma semana .