MMDialog

MMDialog ：面向多模態開放域對話的大規模多輪對話資料集

該儲存庫是 ACL'23 論文的官方網站： MMDialog : A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation

關於數據集

MMDialog的對話案例：

統計數據：

如果您在工作中使用它，請引用我們的論文：

MMDialog, title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation", author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei", booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", month = jul, year = "2023", address = "Toronto, Canada", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.acl-long.405", doi = "10.18653/v1/2023.acl-long.405", pages = "7348--7363" }">

 @inproceedings{feng-etal-2023- MMDialog ,
    title = "{MMD}ialog: A Large-scale Multi-turn Dialogue Dataset Towards Multi-modal Open-domain Conversation",
    author = "Feng, Jiazhan and Sun, Qingfeng and Xu, Can and Zhao, Pu and Yang, Yaming and Tao, Chongyang and Zhao, Dongyan and Lin, Qingwei",
    booktitle = "Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.acl-long.405",
    doi = "10.18653/v1/2023.acl-long.405",
    pages = "7348--7363"
}

資料集資料夾格式：

文件：conversations.json

筆記：

1. 訓練集不包含“否定候選媒體金鑰”和“否定候選文字”，僅存在於測試和驗證集中。每個「Negative_candidate_xxx」包含 999 個用於檢索任務的否定候選人。
2. 所有圖片檔案名稱均採用「media_key.jpg」格式。
3. :smiling_face_with_smiling_eyes: and :raise_hands: 等字是情緒標記，請參考 https://github.com/carpedm20/emoji
4. 為了計算 MM-Relevance 指標中的 CLIP 分數，我們在compute_mmrel.py 中提供了一個示範。
5. 我們也在EvaluationExample.md 中提供了在單一模式（例如BLEU、召回率）內評估指標的評估範例。

如何取得資料集

要取得此資料集，您和您的組織需要：

1. 適用對象：您是學術機構或大學的碩士生、博士生、博士後、教師或專注於研究的員工。
2. 非商業用途：您只能將此存取權限用於非商業目的。
3. 明確的計劃：您有明確的研究目標，並且您對打算如何使用和分析研究數據有具體的計劃。
4. 承諾你的行為：你應該承諾，未經我們的資格審核和許可，你不會分享此資料集。

如果您不滿足上述所有要求，我們將不會與您共用資料集。

我們需要您填寫下面的表格：

物品	描述
你的名字	[這裡是你的名字]
你的角色	[碩士生/博士生/博士後/教師/研究員工/其他]
您的學習或工作組織	例如微軟研究院、DeepMind、康乃爾大學…
您的個人學術主頁及出版品	您的 [Google 學術搜尋] 或 [在您的組織網站上運行的 Homepage_URL（例如 yourname.people.xxx.edu / yourname.xxx.people.msr.microsoft.com）] 以及出版物。
非商業用途	我【承諾/不能承諾】不會將這個MMDialog資料集應用到商業場景或產品中。
共享限制	我[保證/不能保證]未經您的資格審查和許可，我不會分享這個MMDialog資料集。
你的計劃	（描述您的研究計劃以及您打算如何使用和分析您的研究數據。 >= 50 個字）

然後使用您的edu或research電子郵件帳戶將表格發送至[[email protected]]進行審核，如果您滿足所有要求，我們將在一周內為您共享一個儲存預處理資料集的雲端資料夾。