MELDダウンロード - MELDソースコードのダウンロード

MELD

AI ソースコード

1.0.0

ダウンロード

MELD: 会話中の感情認識のためのマルチモーダルなマルチパーティデータセット

注記

IQ テスト LLM に興味がある場合は、新しい作品 AlgoPuzzleVQA をチェックしてください。

Resnetを使用して抽出された視覚的特徴をリリースしました - https://github.com/declare-lab/MM-Align

更新されたベースラインについては、このリンクにアクセスしてください: conv-emotion

データをダウンロードするには、wget を使用します: wget http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Raw.tar.gz

リーダーボード

アップデート

2020/10/10: MELD データセットの会話における感情認識に関する新しい論文と SOTA。コードについては、COSMIC ディレクトリを参照してください。論文を読んでください -- COSMIC: 会話における eMotion Identification に関する COmmonSense の知識。

2019/05/22: MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversation が ACL 2019 で完全な論文として受理されました。更新された論文はここでご覧いただけます - https://arxiv.org/pdf/1810.02508。 pdf

2019/05/22: Dyadic MELD がリリースされました。二項会話モデルをテストするために使用できます。

2018/11/15: train.tar.gz の問題が修正されました。

MELDを使った研究活動

チャン、ヤジョウ、Qiuchi Li、Dawei Song、Peng Zhang、Panpan Wang。「会話感情分析のための量子にインスピレーションを得たインタラクティブネットワーク」。 IJCAI 2019。

張、東、呉良青、孫長龍、李寿山、朱喬明、周国東。「複数話者による会話における感情検出のための文脈依存性と話者依存性の両方をモデル化する。」 IJCAI 2019。

ゴサル、ディーパンウェイ、ナボニル・マジュムデル、ソウジャンヤ・ポリア、ニヤティ・チャヤ、アレクサンダー・ゲルブク。「DialogueGCN: 会話における感情認識のためのグラフ畳み込みニューラルネットワーク」 EMNLP 2019。

導入

マルチモーダル EmotionLines データセット (MELD) は、EmotionLines データセットを強化および拡張することによって作成されました。 MELD には、EmotionLines で使用できるのと同じダイアログインスタンスが含まれていますが、テキストとともにオーディオおよびビジュアルモダリティも含まれています。 MELD には、フレンズ TV シリーズからの 1400 を超えるダイアログと 13000 の発話が収録されています。対話には複数の講演者が参加した。対話内の各発話には、怒り、嫌悪、悲しみ、喜び、中立、驚き、恐怖の 7 つの感情のいずれかがラベル付けされています。 MELD には、各発話に対する感情 (肯定的、否定的、中立的) アノテーションもあります。

対話例

データセットの統計

統計	電車	開発者	テスト
モダリティの数	{a、v、t}	{a、v、t}	{a、v、t}
固有の単語の数	10,643	2,384	4,361
平均発話の長さ	8.03	7.99	8.28
最大。発話の長さ	69	37	45
平均対話ごとの感情の数	3.30	3.35	3.24
対話の数	1039	114	280
発言数	9989	1109	2610
スピーカーの数	260	47	100
感情の変化の数	4003	427	1003
平均発話の長さ	3.59秒	3.59秒	3.58秒

詳細については、https://affective-meld.github.io をご覧ください。

データセットの配布

	電車	開発者	テスト
怒り	1109	153	345
嫌悪	271	22	68
恐れ	268	40	50
喜び	1743年	163	402
中性	4710	470	1256
悲しみ	683	111	208
驚き	1205	150	281

目的

マルチモーダルデータ分析は、複数の並列データチャネルからの情報を意思決定に利用します。 AI の急速な成長に伴い、マルチモーダル感情認識は、主に対話生成やマルチモーダルインタラクションなど、多くの困難なタスクに応用できる可能性があるため、大きな研究関心を集めています。会話型感情認識システムを使用すると、次のような適切な応答を生成できます。ユーザーの感情を分析します。マルチモーダル感情認識については数多くの研究が行われていますが、実際に会話中の感情の理解に焦点を当てている研究はごくわずかです。ただし、彼らの仕事は二項会話の理解にのみ限定されているため、参加者が 3 人以上の多者間会話における感情認識には拡張できません。 EmotionLines は、視覚や音声などの他のモダリティからのデータが含まれていないため、テキストのみの感情認識のリソースとして使用できます。同時に、感情認識研究に利用できるマルチモーダルな複数当事者の会話データセットがないことに注意する必要があります。この作業では、マルチモーダルシナリオ向けに EmotionLines データセットを拡張、改善し、さらに開発しました。連続したターンでの感情認識にはいくつかの課題があり、コンテキストの理解もその 1 つです。対話の一連のターンにおける感情の変化と感情の流れにより、正確なコンテキストのモデリングが困難な作業になります。このデータセットでは、各対話のマルチモーダルデータソースにアクセスできるため、コンテキストモデリングが改善され、全体的な感情認識パフォーマンスに利益がもたらされると仮説を立てます。このデータセットは、マルチモーダルな感情対話システムの開発にも使用できます。 IEMOCAP、SEMAINE は、各発話の感情ラベルを含むマルチモーダルな会話データセットです。ただし、これらのデータセットは本質的に二項関係にあるため、Multimodal-EmotionLines データセットの重要性が正当化されます。その他に公開されているマルチモーダル感情およびセンチメント認識データセットには、MOSEI、MOSI、MOUD があります。ただし、これらのデータセットはいずれも会話型ではありません。

データセットの作成

最初のステップでは、EmotionLines データセットに存在する各ダイアログ内のすべての発話のタイムスタンプを見つけます。これを達成するために、発話の開始と終了のタイムスタンプを含むすべてのエピソードの字幕ファイルをクロールしました。このプロセスにより、エピソード内の各発話のシーズン ID、エピソード ID、およびタイムスタンプを取得できるようになりました。タイムスタンプを取得する際に 2 つの制約を設けます。(a) 対話内の発話のタイムスタンプは昇順でなければなりません。(b) 対話内のすべての発話は同じエピソードおよびシーンに属していなければなりません。これら 2 つの条件で制約すると、EmotionLines では、いくつかの対話が複数の自然な対話で構成されていることがわかりました。これらのケースをデータセットから除外しました。このエラー修正ステップにより、私たちの場合、EmotionLines と比較してダイアログの数が異なります。各発話のタイムスタンプを取得した後、ソースエピソードから対応するオーディオビジュアルクリップを抽出しました。これとは別に、これらのビデオクリップから音声コンテンツも取り出しました。最後に、データセットには、各ダイアログのビジュアル、オーディオ、およびテキストのモダリティが含まれています。

紙

このデータセットを説明する論文は、https://arxiv.org/pdf/1810.02508.pdf にあります。

データをダウンロードする

生データをダウンロードするには、http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Raw.tar.gz にアクセスしてください。データは .mp4 形式で保存され、XXX.tar.gz ファイルにあります。注釈は https://github.com/declare-lab/MELD/tree/master/data/MELD にあります。

.csv ファイルの説明

カラム仕様

列名	説明
シニアNo.	発話のシリアル番号。主に、異なるバージョンまたは異なるサブセットを持つ複数のコピーがある場合に発話を参照するために使用されます。
発話	EmotionLines からの個々の発話を文字列として表現します。
スピーカー	発話に関連付けられた話者の名前。
感情	話者が発話の中で表現した感情 (中立、喜び、悲しみ、怒り、驚き、恐怖、嫌悪)。
感情	話者が発話の中で表現した感情 (肯定的、中立的、否定的)。
ダイアログ_ID	0から始まる対話のインデックス。
発話_ID	対話内の特定の発話の 0 から始まるインデックス。
季節	シーズンNo.特定の発言が属するフレンズ TV 番組の。
エピソード	エピソードNo.発言が属する特定のシーズンのフレンズテレビ番組の。
開始時間	指定されたエピソードの発話の開始時刻 (「hh:mm:ss,ms」形式)。
終了時間	指定されたエピソードの発話の終了時刻 (「hh:mm:ss,ms」形式)。

ファイル

/data/MELD/train_sent_emo.csv - トレーニングセット内の発話と感情ラベルが含まれます。
/data/MELD/dev_sent_emo.csv - 感情ラベルおよび感情ラベルとともに開発セット内の発話が含まれます。
/data/MELD/test_sent_emo.csv - テストセット内の発話と感情ラベルが含まれます。
/data/MELD_Dyadic/train_sent_emo_dya.csv - MELD の二項バリアントのトレーニングセット内の発話と感情ラベルが含まれています。特定の発話に対応するビデオクリップを取得するには、「Old_Dialogue_ID」列と「Old_Utterance_ID」列を参照してください。
/data/MELD_Dyadic/dev_sent_emo_dya.csv - 二項バリアントの開発セット内の発話と感情ラベルが含まれています。特定の発話に対応するビデオクリップを取得するには、「Old_Dialogue_ID」列と「Old_Utterance_ID」列を参照してください。
/data/MELD_Dyadic/test_sent_emo_dya.csv - 二項バリアントのテストセット内の発話と感情ラベルが含まれています。特定の発話に対応するビデオクリップを取得するには、「Old_Dialogue_ID」列と「Old_Utterance_ID」列を参照してください。

Pickle ファイルの説明

ベースラインモデルのトレーニングに使用されるデータと特徴で構成される 13 個の pickle ファイルがあります。以下に、各 pickle ファイルについて簡単に説明します。

データピクルスファイル:

data_emotion.p、data_sentiment.p - これらは、リストとして保存された 5 つの異なる要素を含む主要なデータファイルです。
- data : 次のキーと値のペアを含むディクショナリで構成されます。
  - 本文：原文。
  - split : train/val/test - タプルがどの分割に属しているかを示します。
  - y : 文のラベル。
  - ダイアログ: 発話が属するダイアログの ID。
  - 発言: ダイアログ ID の発言番号。
  - num_words : 発話内の単語の数。
- W: 手袋埋め込み行列
- vocab: データセットの語彙
- word_idx_map: 語彙の各単語を W のインデックスにマッピングします。
- max_sentence_length: データセット内の発話内のトークンの最大数。
- label_index: 各ラベル (感情または感情) を割り当てられたインデックスにマッピングします。 label_index['中立']=0

 import pickle
data , W , vocab , word_idx_map , max_sentence_length , label_index = pickle . load ( open ( filepath , 'rb' ))

text_glove_average_emotion.pkl、text_glove_average_sentiment.pkl - 発話ごとのすべてのトークンのグローブ埋め込みの平均として初期化された、各発話の 300 次元のテキスト特徴ベクトルで構成されます。これは、 train、val、およびテストセットの 3 つの辞書で構成されるリストで、各辞書はdia_utt形式でインデックス付けされています。ここで、 dia はダイアログ ID、utt は発話 ID です。たとえば。 train_text_avg_emb['0_0'].shape = (300, )

 import pickle
train_text_avg_emb , val_text_avg_emb , test_text_avg_emb = pickle . load ( open ( filepath , 'rb' ))

audio_embeddings_feature_selection_emotion.pkl、audio_embeddings_feature_selection_sentiment.pkl - 感情/センチメント分類用にトレーニングされた各発話の 1611/1422 次元のオーディオ特徴ベクトルで構成されます。これらの機能は最初に openSMILE から抽出され、その後 SVM を使用して L2 ベースの機能が選択されます。これは、 train、val、およびテストセットの 3 つの辞書で構成されるリストで、各辞書はdia_utt形式でインデックス付けされています。ここで、 dia はダイアログ ID、utt は発話 ID です。たとえば。 train_audio_emb['0_0'].shape = (1611, ) または (1422, )

 import pickle
train_audio_emb , val_audio_emb , test_audio_emb = pickle . load ( open ( filepath , 'rb' ))

モデル出力の pickle ファイル:

text_glove_CNN_emotion.pkl、text_glove_CNN_sentiment.pkl - 感情/センチメント分類のための CNN ベースのネットワークでのトレーニング後に取得された 100 次元のテキスト特徴で構成されます。これは、 train、val、およびテストセットの 3 つの辞書で構成されるリストで、各辞書はdia_utt形式でインデックス付けされています。ここで、 dia はダイアログ ID、utt は発話 ID です。たとえば。 train_text_CNN_emb['0_0'].shape = (100, )

 import pickle
train_text_CNN_emb , val_text_CNN_emb , test_text_CNN_emb = pickle . load ( open ( filepath , 'rb' ))

text_emotion.pkl、text_sentiment.pkl - これらのファイルには、ユニモーダル bcLSTM モデルによって生成されたコンテキスト特徴表現が含まれています。これは、対話 ID でインデックス付けされた辞書として保存される、感情/感情分類のための各発話の 600 次元のテキスト特徴ベクトルで構成されます。これは、train、val、およびテストセットの 3 つの辞書で構成されるリストです。たとえば。 train_text_emb['0'].shape = (33, 600)、ここで 33 は対話内の最大発話数です。発話数が少ない対話にはゼロベクトルが埋め込まれます。

 import pickle
train_text_emb , val_text_emb , test_text_emb = pickle . load ( open ( filepath , 'rb' ))

audio_emotion.pkl、audio_sentiment.pkl - これらのファイルには、ユニモーダル bcLSTM モデルによって生成されたコンテキスト特徴表現が含まれています。これは、対話 ID でインデックス付けされた辞書として保存される、感情/感情分類のための各発話の 300/600 次元の音声特徴ベクトルで構成されます。これは、train、val、およびテストセットの 3 つの辞書で構成されるリストです。たとえば。 train_audio_emb['0'].shape = (33, 300) または (33, 600)。ここで、33 はダイアログ内の発話の最大数です。発話数が少ない対話にはゼロベクトルが埋め込まれます。

 import pickle
train_audio_emb , val_audio_emb , test_audio_emb = pickle . load ( open ( filepath , 'rb' ))

bimodal_sentiment.pkl - このファイルには、バイモーダル bcLSTM モデルによって生成されたコンテキスト特徴表現が含まれています。これは、感情分類のための各発話の 600 次元の二峰性 (テキスト、オーディオ) 特徴ベクトルで構成され、対話 ID でインデックス付けされた辞書として保存されます。これは、train、val、およびテストセットの 3 つの辞書で構成されるリストです。たとえば。 train_bimodal_emb['0'].shape = (33, 600)、ここで 33 は対話内の最大発話数です。発話数が少ない対話にはゼロベクトルが埋め込まれます。

 import pickle
train_bimodal_emb , val_bimodal_emb , test_bimodal_emb = pickle . load ( open ( filepath , 'rb' ))

生データの説明

train、dev、test の 3 つのフォルダー (.tar.gz ファイル) があります。それぞれは、3 つの .csv ファイル内の発話のビデオクリップに対応しています。
どのフォルダーでも、生データ内の各ビデオクリップは、対応する .csv ファイル内の 1 つの発話に対応します。ビデオクリップの名前は diaX1_uttX2.mp4 という形式で付けられます。X1 は Dialogue_ID、X2 は対応する .csv ファイルで提供される Utterance_ID で、特定の発話を示します。
たとえば、 train.tar.gz内のビデオクリップdia6_utt1.mp4について考えてみましょう。このビデオクリップに対応する発話は、Dialogue_ID=6およびUtterance_ID=1のファイルtrain_sent_emp.csv内にあります。これは、 「気に入りましたか?」です。本当に気に入ってたんですか？』

データの読み取り

「./utils/」には 2 つの Python スクリプトが提供されています。

read_meld.py - MELD からの .csv ファイル内の発話に対応するビデオファイルのパスを表示します。
read_emorynlp - マルチモーダル EmoryNLP 感情検出データセットの .csv ファイル内の発話に対応するビデオファイルのパスを表示します。

ラベリング

実験のために、すべてのラベルはワンホットエンコーディングとして表され、そのインデックスは次のとおりです。

感情- {「中立」: 0、「驚き」: 1、「恐怖」: 2、「悲しみ」: 3、「喜び」: 4、「嫌悪感」: 5、「怒り」: 6}。したがって、感情「喜び」に対応するラベルは [0., 0., 0., 0., 1., 0., 0.] となります。
感情- {'中立': 0、'肯定的': 1、'否定的': 2}。したがって、感情「ポジティブ」に対応するラベルは [0., 1., 0.] になります。

クラスの重み

感情分類のベースラインには、次のクラス重みが使用されました。インデックス付けは上記と同じです。クラスの重み: [4.0、15.0、15.0、3.0、1.0、6.0、3.0]。

ベースラインを実行する

ベースラインを実行するには、次の手順に従ってください。

ここから機能をダウンロードします。
これらの機能を./data/pickles/にコピーします。
ベースラインモデルをトレーニング/テストするには、次のようにファイルbaseline/baseline.pyを実行します。
- python baseline.py -classify [Sentiment|Emotion] -modality [text|audio|bimodal] [-train|-test]
- 感情分類用に単峰性のテキストをトレーニングするコマンドの例: python baseline.py -classify Sentiment -modality text -train
- python baseline.py -h使用して、パラメータのヘルプテキストを取得します。
事前トレーニングされたモデルの場合は、ここからモデルの重みをダウンロードし、pickle ファイルを./data/models/内に配置します。

引用

このデータセットが研究に役立つと思われる場合は、次の論文を引用してください。

S. ポリア、D. ハザリカ、N. マジュムデル、G. ナイク、E. カンブリア、R. ミハルセア。 MELD: 会話中の感情認識のためのマルチモーダルなマルチパーティデータセット。 ACL2019。

Chen、SY、Hsu、CC、Kuo、CC、および Ku、LW EmotionLines: 多者間の会話の感情コーパス。 arXiv プレプリント arXiv:1802.08379 (2018)。

マルチモーダル EmoryNLP 感情認識データセット

説明

マルチモーダル EmoryNLP 感情検出データセットは、EmoryNLP 感情検出データセットを強化および拡張することによって作成されました。これには、EmoryNLP 感情検出データセットで利用できるものと同じダイアログインスタンスが含まれていますが、テキストとともに音声と視覚のモダリティも含まれています。マルチモーダル EmoryNLP データセットには、フレンズ TV シリーズの 800 を超えるダイアログと 9000 の発話が存在します。対話には複数の講演者が参加した。対話内の各発話には、中立、喜び、平和、力強い、怖い、狂気、悲しみの 7 つの感情のいずれかがラベル付けされています。注釈は元のデータセットから借用されます。

データセットの統計

統計	電車	開発者	テスト
モダリティの数	{a、v、t}	{a、v、t}	{a、v、t}
固有の単語の数	9,744	2,123	2,345
平均発話の長さ	7.86	6.97	7.79
最大。発話の長さ	78	60	61
平均シーンごとの感情の数	4.10	4.00	4.40
対話の数	659	89	79
発言数	7551	954	984
スピーカーの数	250	46	48
感情の変化の数	4596	575	653
平均発話の長さ	5.55秒	5.46秒	5.27秒

データセットの配布

	電車	開発者	テスト
楽しい	1677年	205	217
狂った	785	97	86
中性	2485	322	288
平和な	638	82	111
強力な	551	70	96
悲しい	474	51	70
怖がった	941	127	116

データ

このデータセットのビデオクリップは、このリンクからダウンロードできます。注釈ファイルは https://github.com/SenticNet/MELD/tree/master/data/emorynlp にあります。 3 つの .csv ファイルがあります。これらの CSV ファイルの最初の列の各エントリには発話が含まれており、その対応するビデオクリップはここで見つけることができます。各発話とそのビデオクリップには、シーズン番号、エピソード番号、シーン ID、発話 ID によってインデックスが付けられます。たとえば、 sea1_ep2_sc6_utt3.mp4 は、クリップがシーズン番号の発話に対応していることを意味します。 1、エピソードNo. 2、scene_id 6、および speech_id 3。シーンは単なる対話です。このインデックス付けは元のデータセットと一致しています。 .csv ファイルとビデオファイルは、元のデータセットに従って、トレーニングセット、検証セット、およびテストセットに分割されます。注釈は、元の EmoryNLP データセットから直接借用しました (Zahiri et al. (2018))。

.csv ファイルの説明

カラム仕様

列名	説明
発話	EmoryNLP からの文字列としての個々の発話。
スピーカー	発話に関連付けられた話者の名前。
感情	話者が発話内で表現した感情 (中立、楽しい、平和、力強い、怖い、狂った、悲しい)。
シーンID	0から始まる対話のインデックス。
発話_ID	対話内の特定の発話の 0 から始まるインデックス。
季節	シーズンNo.特定の発言が属するフレンズ TV 番組の。
エピソード	エピソードNo.発言が属する特定のシーズンのフレンズテレビ番組の。
開始時間	指定されたエピソードの発話の開始時刻 (「hh:mm:ss,ms」形式)。
終了時間	指定されたエピソードの発話の終了時刻 (「hh:mm:ss,ms」形式)。