MMDialog

MMDialog : マルチモーダルなオープンドメイン会話に向けた大規模なマルチターン対話データセット

このリポジトリは、ACL'23 論文の公式サイトです: MMDialog : A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation

データセットについて

MMDialogの対話例:

統計：

仕事で使用する場合は、私たちの論文を引用してください。

MMDialog, title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation", author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-long.405", doi = "10.18653/v1/2023.acl-long.405", pages = "7348--7363" }">

 @inproceedings{feng-etal-2023- MMDialog ,
    title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation",
    author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.405",
    doi = "10.18653/v1/2023.acl-long.405",
    pages = "7348--7363"
}

データセット フォルダーの形式:

ファイル: 会話.json

注記：

1. トレーニング セットには、テスト セットと検証セットにのみ存在する「negative_candidate_media_keys」と「negative_candidate_texts」は含まれません。各「negative_candidate_xxx」には、検索タスクの否定候補が 999 個含まれています。
2. すべての画像ファイル名は「media_key.jpg」形式です。
3. :smiling_face_with_smiling_eyes: や :raise_hands: のような単語は感情トークンです。https://github.com/carpedm20/emoji を参照してください。
4. メトリクス MM-Relevance の CLIP スコアを計算するために、compute_mmrel.py でデモを提供します。
5. また、EvaluationExample.md では、単一モダリティ (BLEU、Recall など) 内で評価されるメトリクスの評価例も提供されています。

データセットの取得方法

このデータセットを取得するには、あなたとあなたの組織には以下が必要です。

1. 対象者: あなたは、学術機関や大学の修士課程の学生、博士課程の学生、ポスドク、教員、または研究に重点を置いている従業員です。
2. 非営利的使用: このアクセスは非営利目的でのみ使用してください。
3. 明確な計画: 明確に定義された研究目的があり、研究で得られたこのデータをどのように使用および分析するかについての具体的な計画があります。
4. 行動を約束する: 私たちの資格審査と許可なしにこのデータセットを共有しないことを約束する必要があります。

上記の要件をすべて満たさない場合、データセットは共有されません。

以下のフォームにご記入いただく必要があります。

アイテム	説明
あなたの名前	[あなたの名前はここにあります]
あなたの役割	[修士学生 / 博士候補者 / ポスドク / 教員 / 研究職 / その他]
あなたの勉強や仕事の組織	例: Microsoft Research、DeepMind、コーネル大学など
出版物を含む個人の学術ホームページ	[Google Scholar] または [組織の Web サイトで実行されている Homepage_URL (例: yourname.people.xxx.edu / yourname.xxx.people.msr.microsoft.com)] と出版物。
非営利使用	私は、このMMDialogデータセットを商用シナリオや製品に適用しないことを[約束します/約束できません]。
共有の制限	私は、あなたの資格審査と許可なしにこのMMDialogデータセットを共有しないと [約束します/約束できません]。
あなたの計画	(研究計画と、研究から得られたこのデータをどのように使用および分析する予定かを説明してください。 >= 50 ワード)

次に、教育機関または研究機関の電子メール アカウントを使用して、レビューのためにフォームを [[email protected]] に送信します。すべての要件を満たしていれば、 1 週間以内に前処理されたデータセットを保存するクラウド フォルダーを共有します。 。