MMDialog

MMDialog : Kumpulan Data Dialog Multi-putaran Berskala Besar Menuju Percakapan Domain Terbuka Multi-modal

Repositori ini adalah situs resmi makalah ACL'23: MMDialog : Kumpulan Data Dialog Multi-putaran Berskala Besar Menuju Percakapan Domain Terbuka Multi-modal

Tentang kumpulan data

Kasus Dialog MMDialog :

Statistik:

Jika Anda menggunakannya dalam pekerjaan Anda, silakan kutip makalah kami:

MMDialog, title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation", author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-long.405", doi = "10.18653/v1/2023.acl-long.405", pages = "7348--7363" }">

 @inproceedings{feng-etal-2023- MMDialog ,
    title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation",
    author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.405",
    doi = "10.18653/v1/2023.acl-long.405",
    pages = "7348--7363"
}

Format Folder Kumpulan Data:

File: percakapan.json

Catatan:

1. Set pelatihan tidak berisi "negative_candidate_media_keys" dan "negative_candidate_texts", yang hanya ada di set pengujian dan validasi. Setiap "negative_candidate_xxx" berisi 999 kandidat negatif untuk tugas pengambilan.
2. Semua nama file gambar dalam format "media_key.jpg".
3. Kata-kata seperti :smiling_face_with_smiling_eyes: dan :raising_hands: adalah tanda emosi, silakan merujuk ke https://github.com/carpedm20/emoji
4. Untuk menghitung skor CLIP dalam metrik Relevansi MM, kami menyediakan demo di compute_mmrel.py.
5. Kami juga memberikan contoh evaluasi untuk metrik yang dievaluasi dalam satu modalitas (misalnya, BLEU, Recall) di EvaluationExample.md.

Cara mendapatkan kumpulan data

Untuk mendapatkan kumpulan data ini, Anda dan organisasi Anda memerlukan:

1. Untuk siapa: Anda adalah mahasiswa master, kandidat doktoral, pasca doktoral, staf pengajar, atau karyawan yang berfokus pada penelitian di institusi akademis atau universitas.
2. Penggunaan non-komersial: Anda hanya boleh menggunakan akses ini untuk tujuan non-komersial.
3. Rencanakan dengan Jelas: Anda memiliki tujuan penelitian yang jelas, dan Anda memiliki rencana spesifik tentang bagaimana Anda ingin menggunakan dan menganalisis data dari penelitian Anda.
4. Janjikan perilaku Anda: Anda harus berjanji tidak akan membagikan kumpulan data ini tanpa tinjauan kualifikasi dan izin kami.

Jika Anda tidak memenuhi semua persyaratan di atas, kami tidak akan membagikan kumpulan data tersebut kepada Anda.

Kami membutuhkan Anda untuk mengisi formulir di bawah ini:

Barang	Keterangan
Nama Anda	[Nama Anda di sini]
Peran Anda	[mahasiswa master / kandidat doktoral / pasca doktoral / fakultas / karyawan yang berfokus pada penelitian / lainnya]
Organisasi Studi atau Kerja Anda	misalnya Microsoft Research, DeepMind, Cornell University, ...
Beranda Akademik Pribadi Anda Dengan Publikasi	[Google Cendekia] atau [URL_Beranda yang berjalan di situs web organisasi Anda (misalnya namaanda.people.xxx.edu / namaanda.xxx.people.msr.microsoft.com)] dengan publikasi.
Penggunaan Non-komersial	Saya [berjanji/tidak bisa menjanjikan] bahwa saya tidak akan menerapkan dataset MMDialog ini ke skenario atau produk komersial.
Batasan Berbagi	Saya [berjanji / tidak bisa menjanjikan] Saya tidak akan membagikan kumpulan data MMDialog ini tanpa tinjauan kualifikasi dan izin Anda.
Rencana Anda	(Jelaskan rencana penelitian Anda dan bagaimana Anda ingin menggunakan dan menganalisis data dari penelitian Anda. >= 50 kata )

Kemudian gunakan akun email edu atau penelitian Anda untuk mengirim formulir ke [[email protected]] untuk ditinjau, jika Anda memenuhi semua persyaratan, kami akan membagikan kepada Anda folder cloud yang menyimpan kumpulan data yang telah diproses sebelumnya dalam waktu seminggu .