MMDialog

MMDialog : Ein umfangreicher Multi-Turn-Dialogdatensatz für multimodale Open-Domain-Konversation

Dieses Repository ist die offizielle Website des ACL'23-Artikels: MMDialog : A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation

Über den Datensatz

Ein Dialogfall von MMDialog :

Statistiken:

Wenn Sie es in Ihrer Arbeit verwenden, zitieren Sie bitte unseren Artikel:

MMDialog, title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation", author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-long.405", doi = "10.18653/v1/2023.acl-long.405", pages = "7348--7363" }">

 @inproceedings{feng-etal-2023- MMDialog ,
    title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation",
    author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.405",
    doi = "10.18653/v1/2023.acl-long.405",
    pages = "7348--7363"
}

Format des Datensatzordners:

Datei: conversations.json

Notiz:

1. Der Trainingssatz enthält nicht „negative_candidate_media_keys“ und „negative_candidate_texts“, die nur im Test- und Validierungssatz vorhanden sind. Jeder „negative_candidate_xxx“ enthält 999 negative Kandidaten für die Abrufaufgabe.
2. Alle Bilddateinamen haben das Format „media_key.jpg“.
3. Wörter wie :smiling_face_with_smiling_eyes: und :raising_hands: sind Emotionszeichen, siehe https://github.com/carpedm20/emoji
4. Um die CLIP-Scores in der Metrik MM-Relevanz zu berechnen, stellen wir in „compute_mmrel.py“ eine Demo bereit.
5. In EvaluationExample.md stellen wir auch ein Bewertungsbeispiel für Metriken bereit, die innerhalb einer einzelnen Modalität (z. B. BLEU, Recall) bewertet werden.

So erhalten Sie den Datensatz

Um diesen Datensatz zu erhalten, benötigen Sie und Ihre Organisation:

1. Für wen es sich eignet: Sie sind entweder Masterstudent, Doktorand, Postdoktorand, Dozent oder forschungsorientierter Mitarbeiter einer akademischen Einrichtung oder Universität.
2. Nichtkommerzielle Nutzung: Sie sollten diesen Zugang nur für nichtkommerzielle Zwecke nutzen.
3. Klarer Plan: Sie haben ein klar definiertes Forschungsziel und konkrete Pläne, wie Sie diese Daten aus Ihrer Forschung nutzen und analysieren möchten.
4. Versprechen Sie Ihr Verhalten: Sie sollten versprechen, dass Sie diesen Datensatz nicht ohne unsere Qualifikationsprüfung und Genehmigung weitergeben würden.

Wenn Sie nicht alle oben genannten Anforderungen erfüllen, würden wir Ihnen den Datensatz nicht weitergeben.

Sie müssen das folgende Formular ausfüllen:

Artikel	Beschreibung
Ihr Name	[Ihr Name hier]
Ihre Rolle	[Masterstudent / Doktorand / Postdoc / Fakultät / forschungsorientierter Mitarbeiter / andere]
Ihre Studien- oder Arbeitsorganisation	z.B. Microsoft Research, DeepMind, Cornell University, ...
Ihre persönliche akademische Homepage mit Veröffentlichungen	Ihr [Google Scholar] oder Ihre [Homepage_URL, die auf der Website Ihrer Organisation läuft (z. B. IhrName.Personen.xxx.edu / IhrName.xxx.Personen.msr.microsoft.com)] mit Veröffentlichungen.
Nichtkommerzielle Nutzung	Ich [verspreche / kann nicht versprechen], dass ich diesen MMDialog Datensatz nicht auf kommerzielle Szenarien oder Produkte anwenden werde.
Freigabebeschränkung	Ich [verspreche / kann nicht versprechen], dass ich diesen MMDialog Datensatz nicht ohne Ihre Qualifikationsprüfung und Erlaubnis weitergeben würde.
Ihr Plan	(Beschreiben Sie Ihren Forschungsplan und wie Sie diese Daten aus Ihrer Forschung nutzen und analysieren möchten. >= 50 Wörter )

Verwenden Sie dann Ihr E-Mail-Konto für Bildungs- oder Forschungszwecke , um das Formular zur Überprüfung an [[email protected]] zu senden. Wenn Sie alle Anforderungen erfüllen, stellen wir Ihnen innerhalb einer Woche einen Cloud-Ordner zur Verfügung, in dem der vorverarbeitete Datensatz gespeichert wird .