MELD下載 - MELD原始碼下載

MELD

Ai源碼

1.0.0

下載

MELD：用於對話中情緒辨識的多模態多方資料集

筆記

如果您對智商測驗法學碩士感興趣，請查看我們的新作品：AlgoPuzzleVQA

我們發布了使用 Resnet 提取的視覺特徵 - https://github.com/declare-lab/MM-Align

有關更新的基線，請訪問此連結：conv-emotion

要下載數據，請使用 wget： wget http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Raw.tar.gz

排行榜

更新

2020 年 10 月 10 日：MELD 資料集對話中情緒辨識的新論文和 SOTA。代碼請參閱 COSMIC 目錄。閱讀論文 - COSMIC：對話中情緒辨識的 COMmonSense 知識。

2019 年 5 月 22 日：MELD：對話中情緒辨識的多模式多方資料集已被 ACL 2019 接受為全文。

2019 年 5 月 22 日：二元 MELD 已發布。它可用於測試二元對話模型。

2018 年 11 月 15 日：train.tar.gz 中的問題已修復。

使用 MELD 進行研究工作

張亞洲、李秋池、宋大偉、張鵬、王盼盼。 “用於對話情緒分析的量子啟發互動式網路。”國際JCAI 2019。

張、董、吳良慶、孫長龍、李壽山、朱巧明和周國棟。 “對上下文和說話者敏感依賴性進行建模，以實現多說話人對話中的情緒檢測。”國際JCAI 2019。

Ghosal、Deepanway、Navonil Majumder、Soujanya Poria、Niyati Chhaya 和 Alexander Gelbukh。 “DialogueGCN：用於對話中情緒識別的圖卷積神經網路。” EMNLP 2019。

介紹

多模態 EmotionLines 資料集 (MELD) 是透過增強和擴展 EmotionLines 資料集建立的。 MELD 包含與 EmotionLines 中相同的對話實例，但它還包含音訊和視覺模式以及文字。 MELD 擁有《老友記》電視劇中的 1400 多個對話和 13000 多個話語。多位發言者參與了對話。對話中的每句話都被標記為這七種情緒中的任何一種：憤怒、厭惡、悲傷、喜悅、中性、驚訝和恐懼。 MELD 也為每個話語提供情緒（正面、負面和中立）註釋。

對話範例

資料集統計

統計數據	火車	開發者	測試
模態#	{a,v,t}	{a,v,t}	{a,v,t}
# 獨特的單字	10,643	2,384	4,361
平均。話語長度	8.03	7.99	8.28
最大限度。話語長度	69	37	45
平均。每個對話的情緒數量	3.30	3.35	3.24
對話數量	1039	114	280
# 話語數	9989	1109	2610
發言者數量	260	47	100
# 情緒轉變	4003	第427章	1003
平均。話語的持續時間	3.59秒	3.59秒	3.58秒

請造訪 https://affective-meld.github.io 以了解更多詳情。

資料集分佈

	火車	開發者	測試
憤怒	1109	153	第345章
厭惡	第271章	22	68
害怕	268	40	50
喜悅	第1743章	163	第402章
中性的	4710	第470章	第1256章
悲傷	第683章	111	208
驚喜	1205	150	第281章

目的

多模態資料分析利用多個平行資料通道的資訊進行決策。隨著人工智慧的快速發展，多模態情感識別引起了人們的主要研究興趣，這主要是由於它在許多具有挑戰性的任務中的潛在應用，例如對話生成、多模態互動等。識別系統可用於透過以下方式產生適當的回應：分析使用者情緒。儘管關於多模態情感辨識的工作有很多，但真正關注於理解對話中的情緒的研究卻很少。然而，他們的工作僅限於二元對話理解，因此無法擴展到具有兩個以上參與者的多方對話中的情緒識別。 EmotionLines 只能用作文字情緒識別的資源，因為它不包括來自其他形式（例如視覺和音訊）的資料。同時，應該指出的是，目前還沒有可用於情緒辨識研究的多模態多方會話資料集。在這項工作中，我們針對多模式場景擴展、改進和進一步開發了 EmotionLines 資料集。連續輪流中的情緒辨識面臨一些挑戰，而上下文理解就是其中之一。對話中的情緒變化和情緒流動使得準確的上下文建模成為一項艱鉅的任務。在此資料集中，由於我們可以存取每個對話的多模式資料來源，我們假設它將改進上下文建模，從而有利於整體情緒識別效能。此資料集也可用於開發多模式情緒對話系統。 IEMOCAP、SEMAINE 是多模式會話資料集，其中包含每個話語的情緒標籤。然而，這些資料集本質上是二元的，這證明了我們的 Multimodal-EmotionLines 資料集的重要性。其他公開可用的多模態情緒和情緒辨識資料集是 MOSEI、MOSI、MOUD。然而，這些數據集都不是對話性的。

資料集創建

第一步涉及尋找 EmotionLines 資料集中每個對話中每個話語的時間戳記。為了實現這一目標，我們爬取了所有劇集的字幕文件，其中包含話語的開始和結束時間戳。這個過程使我們能夠獲取劇集 ID、劇集 ID 和劇集中每個話語的時間戳。我們在獲取時間戳時設定了兩個約束：（a）對話中話語的時間戳必須按升序排列，（b）對話中的所有話語必須屬於同一情節和場景。透過這兩個條件的約束發現，在 EmotionLines 中，少數對話由多個自然對話組成。我們從資料集中過濾掉了這些案例。由於這個糾錯步驟，在我們的例子中，與 EmotionLine 相比，我們有不同數量的對話。在獲得每個話語的時間戳後，我們從來源劇集中提取其對應的視聽片段。另外，我們也從這些影片片段中取出了音訊內容。最後，資料集包含每個對話的視覺、音訊和文字模式。

紙

解釋該資料集的論文可以找到 - https://arxiv.org/pdf/1810.02508.pdf

下載數據

請造訪 - http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Raw.tar.gz 下載原始資料。資料以 .mp4 格式存儲，可以在 XXX.tar.gz 檔案中找到。註解可以在 https://github.com/declare-lab/MELD/tree/master/data/MELD 中找到。

.csv 檔案的說明

色譜管規格

列名	描述
先生號	話語序號主要用於不同版本或多副本不同子集時引用話語
發聲	來自 EmotionLines 的個人話語作為字串。
揚聲器	與話語相關的說話者的名字。
情緒	說話者在言語中表達的情緒（中性、喜悅、悲傷、憤怒、驚訝、恐懼、厭惡）。
情緒	說話者在話語中表達的情緒（正向、中立、負向）。
對話ID	對話索引從0開始。
話語ID	對話中特定話語的索引，從 0 開始。
季節	季節號。特定話語所屬的《老友記》電視節目。
插曲	劇集號。該話語所屬特定季節的《老友記》電視節目。
開始時間	給定劇集中話語的開始時間，格式為「hh:mm:ss,ms」。
結束時間	給定劇集中話語的結束時間，格式為「hh:mm:ss,ms」。

文件

/data/MELD/train_sent_emo.csv - 包含訓練集中的話語以及情緒和情緒標籤。
/data/MELD/dev_sent_emo.csv - 包含開發集中的話語以及情緒和情感標籤。
/data/MELD/test_sent_emo.csv - 包含測試集中的話語以及情緒和情緒標籤。
/data/MELD_Dyadic/train_sent_emo_dya.csv - 包含 MELD 的二元變體訓練集中的話語以及情緒和情緒標籤。若要取得與特定話語相對應的影片剪輯，請參閱「Old_Dialogue_ID」和「Old_Utterance_ID」欄位。
/data/MELD_Dyadic/dev_sent_emo_dya.csv - 包含二元變體的開發集中的話語以及情緒和情感標籤。若要取得與特定話語相對應的影片剪輯，請參閱「Old_Dialogue_ID」和「Old_Utterance_ID」欄位。
/data/MELD_Dyadic/test_sent_emo_dya.csv - 包含二元變體測試集中的話語以及情緒和情緒標籤。若要取得與特定話語相對應的影片剪輯，請參閱「Old_Dialogue_ID」和「Old_Utterance_ID」欄位。

Pickle 文件的描述

有 13 個 pickle 文件，其中包含用於訓練基線模型的資料和特徵。以下是每個 pickle 檔案的簡要說明。

資料pickle檔案：

data_emotion.p、data_sentiment.p - 這些是主要資料文件，其中包含 5 個儲存為清單的不同元素。
- data ：它由具有以下鍵/值對的字典組成。
  - 文字：原句子。
  - split : train/val/test - 表示元組所屬的分割。
  - y ：句子的標籤。
  - dialog ：話語所屬對話框的 ID。
  - utterance ：對話 ID 的話語編號。
  - num_words ：話語中的單字數。
- W：手套嵌入矩陣
- vocab：資料集的詞彙量
- word_idx_map：每個單字從 vocab 到其在 W 中的索引的映射。
- max_sentence_length：資料集中話語中的最大標記數。
- label_index：每個標籤（情感或情感）到其指定索引的映射，例如。 label_index['中性']=0

 import pickle
data , W , vocab , word_idx_map , max_sentence_length , label_index = pickle . load ( open ( filepath , 'rb' ))

text_glove_average_emotion.pkl、text_glove_average_sentiment.pkl - 它由每個話語的 300 維文本特徵向量組成，初始化為每個話語的所有標記的 Glove 嵌入的平均值。它是一個由 3 個字典組成的列表，分別用於 train、val 和測試集，每個字典都以dia_utt格式索引，其中 dia 是對話 id，utt 是話語 id。例如。 train_text_avg_emb['0_0'].shape = (300, )

 import pickle
train_text_avg_emb , val_text_avg_emb , test_text_avg_emb = pickle . load ( open ( filepath , 'rb' ))

audio_embeddings_feature_selection_emotion.pkl,audio_embeddings_feature_selection_sentiment.pkl - 它由針對情緒/情緒分類訓練的每個話語的 1611/1422 維音頻特徵向量組成。這些特徵最初是從 openSMILE 中提取的，然後使用 SVM 進行基於 L2 的特徵選擇。它是一個由 3 個字典組成的列表，分別用於 train、val 和測試集，每個字典都以dia_utt格式索引，其中 dia 是對話 id，utt 是話語 id。例如。 train_audio_emb['0_0'].shape = (1611, ) 或 (1422, )

 import pickle
train_audio_emb , val_audio_emb , test_audio_emb = pickle . load ( open ( filepath , 'rb' ))

模型輸出pickle檔案：

text_glove_CNN_emotion.pkl、text_glove_CNN_sentiment.pkl - 它由在基於 CNN 的情緒/情緒分類網路上訓練後獲得的 100 維文本特徵組成。它是一個由 3 個字典組成的列表，分別用於 train、val 和測試集，每個字典都以dia_utt格式索引，其中 dia 是對話 id，utt 是話語 id。例如。 train_text_CNN_emb['0_0'].shape = (100, )

 import pickle
train_text_CNN_emb , val_text_CNN_emb , test_text_CNN_emb = pickle . load ( open ( filepath , 'rb' ))

text_emotion.pkl、text_sentiment.pkl - 這些檔案包含由單模態 bcLSTM 模型產生的上下文特徵表示。它由每個話語的 600 維文本特徵向量組成，用於情緒/情緒分類，儲存為對話 id 索引的字典。它是一個由 3 個字典組成的列表，分別是 train、val 和測試集。例如。 train_text_emb['0'].shape = (33, 600)，其中 33 是對話中的最大話語數。話語較少的對話用零向量填滿。

 import pickle
train_text_emb , val_text_emb , test_text_emb = pickle . load ( open ( filepath , 'rb' ))

audio_emotion.pkl、audio_sentiment.pkl - 這些檔案包含由單模態 bcLSTM 模型產生的上下文特徵表示。它由每個話語的 300/600 維音頻特徵向量組成，用於情緒/情緒分類，儲存為對話 id 索引的字典。它是一個由 3 個字典組成的列表，分別是 train、val 和測試集。例如。 train_audio_emb['0'].shape = (33, 300) 或 (33, 600)，其中 33 是對話中最大的話語數。話語較少的對話用零向量填滿。

 import pickle
train_audio_emb , val_audio_emb , test_audio_emb = pickle . load ( open ( filepath , 'rb' ))

bimodal_sentiment.pkl - 此檔案包含由雙模態 bcLSTM 模型產生的上下文特徵表示。它由用於情感分類的每個話語的 600 維雙峰（文本、音頻）特徵向量組成，存儲為用對話 id 索引的字典。它是一個由 3 個字典組成的列表，分別是 train、val 和測試集。例如。 train_bimodal_emb['0'].shape = (33, 600)，其中 33 是對話中最大的話語數。話語較少的對話用零向量填滿。

 import pickle
train_bimodal_emb , val_bimodal_emb , test_bimodal_emb = pickle . load ( open ( filepath , 'rb' ))

原始數據說明

有3個資料夾（.tar.gz檔）－train、dev和test；每個都對應於 3 個 .csv 檔案中話語的視訊剪輯。
在任何資料夾中，原始資料中的每個影片剪輯都對應於對應 .csv 檔案中的一個話語。影片剪輯的命名格式為：diaX1_uttX2.mp4，其中 X1 是 Dialogue_ID，X2 是對應 .csv 檔案中提供的 Utterance_ID，表示特定的話語。
例如，考慮train.tar.gz中的影片剪輯dia6_utt1.mp4 。該影片剪輯的相應話語將位於文件train_sent_emp.csv中，其中Dialogue_ID=6和Utterance_ID=1 ，即“你喜歡它嗎？”你真的喜歡它嗎？

讀取數據

'./utils/' 中提供了 2 個 python 腳本：

read_meld.py - 顯示與來自 MELD 的 .csv 檔案中的話語相對應的視訊檔案的路徑。
read_emorynlp - 顯示與來自 Multimodal EmoryNLP 情緒偵測資料集的 .csv 檔案中的話語相對應的視訊檔案的路徑。

情緒- {'中性': 0, '驚訝': 1, '恐懼': 2, '悲傷': 3, '喜悅': 4, '厭惡': 5, '憤怒': 6}。因此，對應於情緒「joy」的標籤將是 [0., 0., 0., 0., 1., 0., 0.]
情緒- {“中性”：0，“積極”：1，“消極”：2}。因此，對應於情緒「正向」的標籤將是 [0., 1., 0.]

類別權重

對於情緒分類的基線，使用了以下類別權重。索引與上面提到的相同。類別權重：[4.0、15.0、15.0、3.0、1.0、6.0、3.0]。

運行基線

請按照以下步驟運行基線 -

從此處下載功能。
將這些功能複製到./data/pickles/
要訓練/測試基準模型，請執行檔案： baseline/baseline.py如下所示：
- python baseline.py -classify [Sentiment|Emotion] -modality [text|audio|bimodal] [-train|-test]
- 用於訓練文字單峰進行情緒分類的範例指令： python baseline.py -classify Sentiment -modality text -train
- 使用python baseline.py -h取得參數的幫助文字。
對於預先訓練的模型，請從此處下載模型權重並將 pickle 檔案放入./data/models/中。

引文

如果您發現該資料集對您的研究有用，請引用以下論文

S. Poria、D. Hazarika、N. Majumder、G. Naik、E. Cambria、R. Mihalcea。 MELD：用於對話中情緒辨識的多模式多方資料集。 2019年亞冠。

Chen, SY, Hsu, CC, Kuo, CC 和 Ku, LW EmotionLines：多方對話的情感語料庫。 arXiv 預印本 arXiv:1802.08379 (2018)。

多模態 EmoryNLP 情緒辨識資料集

描述

多模態 EmoryNLP 情緒檢測資料集是透過增強和擴展 EmoryNLP 情緒檢測資料集而創建的。它包含與 EmoryNLP 情緒檢測資料集中相同的對話實例，但它還包含音訊和視覺模式以及文字。多模態 EmoryNLP 資料集中存在《老友記》電視劇中的 800 多個對話和 9000 多個話語。多位發言者參與了對話。對話中的每句話都被標記為這七種情緒中的任何一種：中性、快樂、和平、強大、害怕、瘋狂和悲傷。註釋是從原始資料集中藉用的。

資料集統計

統計數據	火車	開發者	測試
模態#	{a,v,t}	{a,v,t}	{a,v,t}
# 獨特的單字	9,744	2,123	2,345
平均。話語長度	7.86	6.97	7.79
最大限度。話語長度	78	60	61
平均。每個場景的情緒數量	4.10	4.00	4.40
對話數量	第659章	89	79
# 話語數	7551	第954章	第984章
發言者數量	250	46	48
# 情緒轉變	4596	第575章	第653章
平均。話語的持續時間	5.55秒	5.46秒	5.27秒

資料集分佈

	火車	開發者	測試
快樂	第1677章	205	217
瘋狂的	第785章	97	86
中性的	2485	第322章	288
和平	638	82	111
強大的	第551章	70	96
傷心	第474章	51	70
害怕的	第941章	127	116

數據

該資料集的影片剪輯可以從此連結下載。註解檔案可以在 https://github.com/SenticNet/MELD/tree/master/data/emorynlp 中找到。有 3 個 .csv 檔案。這些 csv 檔案第一列中的每個條目都包含一個話語，可以在此處找到其相應的視訊剪輯。每個話語及其影片剪輯均按季號、集號、場景 ID 和話語 ID 進行索引。例如， sea1_ep2_sc6_utt3.mp4表示該剪輯對應於第 1 季的話語。 1，劇集編號。 2、scene_id 6和utterance_id 3。此索引與原始資料集一致。 .csv檔案和影片檔案依原始資料集分為訓練集、驗證集和測試集。註釋直接借用自原始 EmoryNLP 資料集（Zahiri 等人（2018））。

.csv 檔案的說明

色譜管規格

列名	描述
發聲	來自 EmoryNLP 的單一話語作為字串。
揚聲器	與話語相關的說話者的名字。
情緒	說話者在話語中表達的情緒（中性、快樂、平和、強大、害怕、瘋狂和悲傷）。
場景ID	對話索引從0開始。
話語ID	對話中特定話語的索引，從 0 開始。
季節	季節號。特定話語所屬的《老友記》電視節目。
插曲	劇集號。該話語所屬特定季節的《老友記》電視節目。
開始時間	給定劇集中話語的開始時間，格式為「hh:mm:ss,ms」。
結束時間	給定劇集中話語的結束時間，格式為「hh:mm:ss,ms」。