الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

MELD: مجموعة بيانات متعددة الأطراف للتعرف على المشاعر أثناء المحادثة

ملحوظة

إذا كنت مهتمًا ببرامج LLM لاختبار الذكاء، فاطلع على عملنا الجديد: AlgoPuzzleVQA

لقد أصدرنا الميزات المرئية المستخرجة باستخدام Resnet - https://github.com/declare-lab/MM-Align

للحصول على خطوط الأساس المحدثة، يرجى زيارة هذا الرابط: conv-emotion

لتنزيل البيانات، استخدم wget: wget http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Raw.tar.gz

المتصدرين

التحديثات

10/10/2020: ورقة بحثية جديدة وSOTA في التعرف على المشاعر في المحادثات على مجموعة بيانات MELD. ارجع إلى دليل COSMIC للحصول على الكود. اقرأ المقال - COSMIC: معرفة CommonSense لتحديد الحركة الإلكترونية في المحادثات.

22/05/2019: MELD: تم قبول مجموعة بيانات متعددة الوسائط للتعرف على المشاعر أثناء المحادثة كورقة كاملة في ACL 2019. يمكن العثور على الورقة المحدثة هنا - https://arxiv.org/pdf/1810.02508. قوات الدفاع الشعبي

22/05/2019: تم إصدار Dyadic MELD. يمكن استخدامه لاختبار نماذج المحادثة الثنائية.

15/11/2018: تم إصلاح المشكلة في Train.tar.gz.

أعمال البحث باستخدام MELD

تشانغ، وياتشو، وكيوتشي لي، وداوي سونغ، وبنغ تشانغ، وبانبان وانغ. "الشبكات التفاعلية المستوحاة من الكم لتحليل مشاعر المحادثة." إيجيكي 2019.

تشانغ، دونغ، ليانغقينغ وو، تشانغ لونغ صن، شوشان لي، تشياومينغ تشو، وجودونغ تشو. "نمذجة الاعتماد الحساس للسياق والمتحدث لاكتشاف المشاعر في المحادثات متعددة المتحدثين." إيجيكي 2019.

غوسال، ديبانواي، نافونيل ماجومدير، سوجانيا بوريا، نياتي تشايا، وألكسندر جلبوخ. "DialogueGCN: شبكة عصبية تلافيفية للرسم البياني للتعرف على المشاعر في المحادثة." إي إم إن إل بي 2019.

مقدمة

تم إنشاء مجموعة بيانات EmotionLines متعددة الوسائط (MELD) من خلال تحسين مجموعة بيانات EmotionLines وتوسيع نطاقها. يحتوي MELD على نفس مثيلات الحوار المتوفرة في EmotionLines، ولكنه يشمل أيضًا الطريقة الصوتية والمرئية بالإضافة إلى النص. يحتوي MELD على أكثر من 1400 حوار و13000 كلمة من مسلسل Friends TV. وشارك العديد من المتحدثين في الحوارات. يتم تصنيف كل قول في الحوار بأي من هذه المشاعر السبعة - الغضب، والاشمئزاز، والحزن، والفرح، والمحايد، والمفاجأة، والخوف. يحتوي MELD أيضًا على تعليق توضيحي للمشاعر (الإيجابية والسلبية والمحايدة) لكل كلام.

حوار المثال

إحصائيات مجموعة البيانات

إحصائيات يدرب ديف امتحان
# من الطريقة {أ، ت، ر} {أ، ت، ر} {أ، ت، ر}
# من الكلمات الفريدة 10,643 2,384 4,361
متوسط طول الكلام 8.03 7.99 8.28
الأعلى. طول الكلام 69 37 45
متوسط # من العواطف في الحوار 3.30 3.35 3.24
# من الحوارات 1039 114 280
# من الأقوال 9989 1109 2610
# من المتحدثين 260 47 100
#تحول المشاعر 4003 427 1003
متوسط مدة الكلام 3.59 ثانية 3.59 ثانية 3.58 ثانية

يرجى زيارة https://affective-meld.github.io لمزيد من التفاصيل.

توزيع مجموعة البيانات

يدرب ديف امتحان
الغضب 1109 153 345
الاشمئزاز 271 22 68
يخاف 268 40 50
مرح 1743 163 402
حيادي 4710 470 1256
الحزن 683 111 208
مفاجأة 1205 150 281

غاية

يستغل تحليل البيانات متعدد الوسائط المعلومات الواردة من قنوات البيانات المتوازية المتعددة لاتخاذ القرار. مع النمو السريع للذكاء الاصطناعي، اكتسب التعرف على المشاعر متعدد الوسائط اهتمامًا بحثيًا كبيرًا، ويرجع ذلك أساسًا إلى تطبيقاته المحتملة في العديد من المهام الصعبة، مثل توليد الحوار والتفاعل متعدد الوسائط وما إلى ذلك. يمكن استخدام نظام التعرف على المشاعر التحادثية لتوليد استجابات مناسبة عن طريق تحليل مشاعر المستخدم. على الرغم من وجود العديد من الأعمال التي تم إجراؤها على التعرف على المشاعر متعددة الوسائط، إلا أن القليل منها فقط يركز فعليًا على فهم المشاعر في المحادثات. ومع ذلك، فإن عملهم يقتصر فقط على فهم المحادثة الثنائية، وبالتالي لا يمكن توسيع نطاقه ليشمل التعرف على المشاعر في المحادثات متعددة الأطراف التي تضم أكثر من مشاركين اثنين. يمكن استخدام EmotionLines كمورد للتعرف على المشاعر للنص فقط، حيث أنه لا يتضمن بيانات من طرق أخرى مثل المرئية والصوتية. وفي الوقت نفسه، تجدر الإشارة إلى أنه لا توجد مجموعة بيانات محادثة متعددة الوسائط ومتعددة الأطراف متاحة لأبحاث التعرف على المشاعر. في هذا العمل، قمنا بتوسيع وتحسين وتطوير مجموعة بيانات EmotionLines للسيناريو متعدد الوسائط. يواجه التعرف على المشاعر في المنعطفات المتسلسلة العديد من التحديات، ويعد فهم السياق أحد هذه التحديات. إن تغير المشاعر وتدفق المشاعر في تسلسل المنعطفات في الحوار يجعل النمذجة الدقيقة للسياق مهمة صعبة. في مجموعة البيانات هذه، بما أننا نستطيع الوصول إلى مصادر البيانات متعددة الوسائط لكل حوار، فإننا نفترض أنها ستحسن نمذجة السياق وبالتالي تستفيد من الأداء العام للتعرف على المشاعر. يمكن أيضًا استخدام مجموعة البيانات هذه لتطوير نظام حوار عاطفي متعدد الوسائط. IEMOCAP وSEMAINE عبارة عن مجموعات بيانات محادثة متعددة الوسائط تحتوي على تسمية عاطفية لكل عبارة. ومع ذلك، فإن مجموعات البيانات هذه ثنائية بطبيعتها، مما يبرر أهمية مجموعة بيانات Multimodal-EmotionLines الخاصة بنا. مجموعات بيانات التعرف على المشاعر والمشاعر المتعددة الوسائط الأخرى المتاحة للجمهور هي MOSEI وMOSI وMOUD. ومع ذلك، لا تعتبر أي من مجموعات البيانات هذه محادثة.

إنشاء مجموعة البيانات

تتناول الخطوة الأولى العثور على الطابع الزمني لكل عبارة في كل حوار موجود في مجموعة بيانات EmotionLines. ولتحقيق ذلك، قمنا بالزحف عبر ملفات الترجمة لجميع الحلقات التي تحتوي على الطابع الزمني لبداية الكلام ونهايته. مكنتنا هذه العملية من الحصول على معرف الموسم ومعرف الحلقة والطابع الزمني لكل عبارة في الحلقة. لقد وضعنا قيدين أثناء الحصول على الطوابع الزمنية: (أ) يجب أن تكون الطوابع الزمنية للكلام في الحوار بترتيب متزايد، (ب) يجب أن تنتمي جميع الأقوال في الحوار إلى نفس الحلقة والمشهد. وكشف التقييد بهذين الشرطين أنه في EmotionLines، تتكون بعض الحوارات من حوارات طبيعية متعددة. قمنا بتصفية تلك الحالات من مجموعة البيانات. بسبب خطوة تصحيح الخطأ هذه، في حالتنا، لدينا عدد مختلف من الحوارات مقارنةً بـ EmotionLines. بعد الحصول على الطابع الزمني لكل عبارة، استخرجنا المقاطع الصوتية والمرئية المقابلة لها من الحلقة المصدر. وبشكل منفصل، قمنا أيضًا بإزالة المحتوى الصوتي من مقاطع الفيديو تلك. وأخيرًا، تحتوي مجموعة البيانات على طريقة مرئية وصوتية ونصية لكل حوار.

ورق

يمكن العثور على الورقة التي تشرح مجموعة البيانات هذه - https://arxiv.org/pdf/1810.02508.pdf

قم بتنزيل البيانات

يرجى زيارة - http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Raw.tar.gz لتنزيل البيانات الأولية. يتم تخزين البيانات بتنسيق mp4 ويمكن العثور عليها في ملفات XXX.tar.gz. يمكن العثور على التعليقات التوضيحية في https://github.com/declare-lab/MELD/tree/master/data/MELD.

وصف ملفات .csv

مواصفات العمود

اسم العمود وصف
رقم السيد الأرقام التسلسلية للكلام بشكل أساسي للإشارة إلى الكلام في حالة الإصدارات المختلفة أو النسخ المتعددة مع مجموعات فرعية مختلفة
الكلام الكلام الفردي من EmotionLines كسلسلة.
المتحدث اسم المتكلم المرتبط بالكلام.
العاطفة الانفعال (الحيادية، الفرح، الحزن، الغضب، المفاجأة، الخوف، الاشمئزاز) الذي يعبر عنه المتحدث في الكلام.
المشاعر المشاعر (الإيجابية والمحايدة والسلبية) التي يعبر عنها المتحدث في الكلام.
Dialogue_ID فهرس الحوار يبدأ من 0.
معرف_النطق فهرس اللفظ المعين في الحوار يبدأ من 0.
موسم الموسم لا. من برنامج Friends TV الذي ينتمي إليه كلام معين.
حلقة الحلقة رقم. من برنامج Friends TV في موسم معين ينتمي إليه الكلام.
وقت البدء وقت بدء الكلام في الحلقة المحددة بالتنسيق "hh:mm:ss,ms".
وقت النهاية وقت انتهاء الكلام في الحلقة المحددة بالتنسيق "hh:mm:ss,ms".

الملفات

  • /data/MELD/train_sent_emo.csv - يحتوي على الألفاظ الموجودة في مجموعة التدريب بالإضافة إلى تسميات المشاعر والعاطفة.
  • /data/MELD/dev_sent_emo.csv - يحتوي على الألفاظ الموجودة في مجموعة التطوير بالإضافة إلى تسميات المشاعر والعاطفة.
  • /data/MELD/test_sent_emo.csv - يحتوي على الألفاظ الموجودة في مجموعة الاختبار بالإضافة إلى تسميات المشاعر والعاطفة.
  • /data/MELD_Dyadic/train_sent_emo_dya.csv - يحتوي على الألفاظ الموجودة في مجموعة التدريب للمتغير الثنائي لـ MELD بالإضافة إلى تسميات المشاعر والعاطفة. للحصول على مقطع الفيديو المتوافق مع عبارة معينة، راجع العمودين "Old_Dialogue_ID" و"Old_Utterance_ID".
  • /data/MELD_Dyadic/dev_sent_emo_dya.csv - يحتوي على الألفاظ الموجودة في مجموعة التطوير للمتغير الثنائي بالإضافة إلى تسميات المشاعر والعاطفة. للحصول على مقطع الفيديو المتوافق مع عبارة معينة، راجع العمودين "Old_Dialogue_ID" و"Old_Utterance_ID".
  • /data/MELD_Dyadic/test_sent_emo_dya.csv - يحتوي على الألفاظ الموجودة في مجموعة الاختبار للمتغير الثنائي إلى جانب تسميات المشاعر والعاطفة. للحصول على مقطع الفيديو المتوافق مع عبارة معينة، راجع العمودين "Old_Dialogue_ID" و"Old_Utterance_ID".

وصف ملفات المخلل

يوجد 13 ملفًا مخللًا يتكون من البيانات والميزات المستخدمة لتدريب النماذج الأساسية. فيما يلي وصف موجز لكل ملف من ملفات المخلل.

ملفات اختيار البيانات:

  • data_emotion.p, data_sentiment.p - هذه هي ملفات البيانات الأساسية التي تحتوي على 5 عناصر مختلفة مخزنة كقائمة.
    • البيانات : يتكون من قاموس يحتوي على أزواج المفاتيح/القيمة التالية.
      • النص : الجملة الأصلية.
      • الانقسام : القطار/فال/اختبار - يشير إلى القسم الذي ينتمي إليه الصف.
      • ي : تسمية الجملة .
      • مربع الحوار : معرف مربع الحوار الذي ينتمي إليه الكلام.
      • الكلام : رقم الكلام لمعرف الحوار.
      • num_words : عدد الكلمات في الكلام.
    • W: مصفوفة تضمين القفازات
    • المفردات: مفردات مجموعة البيانات
    • word_idx_map: تعيين كل كلمة من vocab إلى فهرسها في W.
    • max_sentence_length: الحد الأقصى لعدد الرموز المميزة في الكلام في مجموعة البيانات.
    • label_index: تعيين كل تسمية (عاطفة أو شعور) إلى الفهرس المخصص لها، على سبيل المثال. label_index['محايد']=0 
 import pickle
data , W , vocab , word_idx_map , max_sentence_length , label_index = pickle . load ( open ( filepath , 'rb' ))
  • text_glove_average_emotion.pkl، text_glove_average_sentiment.pkl - يتكون من 300 متجه ميزة نصية ذات أبعاد لكل كلام تمت تهيئته كمتوسط ​​تضمينات القفازات لجميع الرموز المميزة لكل كلام. إنها قائمة تتكون من 3 قواميس للقطار وفال ومجموعة الاختبار مع فهرسة كل قاموس بالتنسيق dia_utt ، حيث dia هو معرف الحوار وutt هو معرف الكلام. على سبيل المثال. Train_text_avg_emb['0_0'].الشكل = (300،) 
 import pickle
train_text_avg_emb , val_text_avg_emb , test_text_avg_emb = pickle . load ( open ( filepath , 'rb' ))
  • audio_embeddings_feature_selection_emotion.pkl,audio_embeddings_feature_selection_sentiment.pkl - يتكون من 1611/1422 متجهات ميزات الصوت ذات الأبعاد لكل كلام مدرب على تصنيف المشاعر/المشاعر. يتم استخراج هذه الميزات في الأصل من openSMILE ثم يتبعها اختيار الميزات المستند إلى L2 باستخدام SVM. إنها قائمة تتكون من 3 قواميس للقطار وفال ومجموعة الاختبار مع فهرسة كل قاموس بالتنسيق dia_utt ، حيث dia هو معرف الحوار وutt هو معرف الكلام. على سبيل المثال. Train_audio_emb['0_0'].shape = (1611, ) أو (1422, ) 
 import pickle
train_audio_emb , val_audio_emb , test_audio_emb = pickle . load ( open ( filepath , 'rb' ))

ملفات مخلل الإخراج النموذجية:

  • text_glove_CNN_emotion.pkl، text_glove_CNN_sentiment.pkl - يتكون من 100 ميزة نصية ذات أبعاد تم الحصول عليها بعد التدريب على شبكة تعتمد على CNN لتحليل المشاعر/المشاعر. إنها قائمة تتكون من 3 قواميس للقطار وفال ومجموعة الاختبار مع فهرسة كل قاموس بالتنسيق dia_utt ، حيث dia هو معرف الحوار وutt هو معرف الكلام. على سبيل المثال. Train_text_CNN_emb['0_0'].الشكل = (100،) 
 import pickle
train_text_CNN_emb , val_text_CNN_emb , test_text_CNN_emb = pickle . load ( open ( filepath , 'rb' ))
  • text_emotion.pkl، text_sentiment.pkl - تحتوي هذه الملفات على تمثيلات الميزات السياقية كما تم إنتاجها بواسطة نموذج bcLSTM أحادي الوسائط. وهو يتألف من 600 ناقل ميزة نصية الأبعاد لكل عبارة لتصنيف المشاعر/المشاعر المخزنة كقاموس مفهرس بمعرف الحوار. إنها قائمة تتكون من 3 قواميس للقطار وفال ومجموعة الاختبار. على سبيل المثال. Train_text_emb['0'].shape = (33, 600)، حيث 33 هو الحد الأقصى لعدد العبارات في الحوار. الحوارات التي تحتوي على عدد أقل من الكلام تكون مبطنة بمتجهات صفرية. 
 import pickle
train_text_emb , val_text_emb , test_text_emb = pickle . load ( open ( filepath , 'rb' ))
  • audio_emotion.pkl، audio_sentiment.pkl - تحتوي هذه الملفات على تمثيلات الميزات السياقية كما تم إنتاجها بواسطة نموذج bcLSTM أحادي الوسائط. وهو يتألف من ناقل ميزة صوتية ذات أبعاد 300/600 لكل عبارة لتصنيف المشاعر/المشاعر المخزنة كقاموس مفهرس بمعرف الحوار. إنها قائمة تتكون من 3 قواميس للقطار وفال ومجموعة الاختبار. على سبيل المثال. Train_audio_emb['0'].shape = (33, 300) أو (33, 600)، حيث 33 هو الحد الأقصى لعدد العبارات في الحوار. الحوارات التي تحتوي على عدد أقل من الكلام تكون مبطنة بمتجهات صفرية. 
 import pickle
train_audio_emb , val_audio_emb , test_audio_emb = pickle . load ( open ( filepath , 'rb' ))
  • bimodal_sentiment.pkl - يحتوي هذا الملف على تمثيلات الميزات السياقية كما تم إنتاجها بواسطة نموذج bcLSTM ثنائي الوسائط. وهو يتألف من 600 ناقل ميزة ثنائي الأبعاد (نص، صوت) لكل عبارة لتصنيف المشاعر المخزنة كقاموس مفهرس بمعرف الحوار. إنها قائمة تتكون من 3 قواميس للقطار وفال ومجموعة الاختبار. على سبيل المثال. Train_bimodal_emb['0'].shape = (33, 600)، حيث 33 هو الحد الأقصى لعدد العبارات في الحوار. الحوارات التي تحتوي على عدد أقل من الكلام تكون مبطنة بمتجهات صفرية. 
 import pickle
train_bimodal_emb , val_bimodal_emb , test_bimodal_emb = pickle . load ( open ( filepath , 'rb' ))

وصف البيانات الخام

  • هناك 3 مجلدات (ملفات .tar.gz) - التدريب والتطوير والاختبار؛ يتوافق كل منها مع مقاطع فيديو من الكلمات الموجودة في ملفات .csv الثلاثة.
  • في أي مجلد، يتوافق كل مقطع فيديو في البيانات الأولية مع عبارة واحدة في ملف ‎.csv المقابل. تتم تسمية مقاطع الفيديو بالتنسيق: diaX1_uttX2.mp4، حيث X1 هو Dialogue_ID وX2 هو Utterance_ID كما هو منصوص عليه في ملف .csv المقابل، للإشارة إلى الكلام المحدد.
  • على سبيل المثال، خذ بعين الاعتبار مقطع الفيديو dia6_utt1.mp4 الموجود في Train.tar.gz . سيكون الكلام المقابل لمقطع الفيديو هذا موجودًا في الملف Train_sent_emp.csv مع Dialogue_ID=6 و Utterance_ID=1 ، وهو "هل أعجبك ذلك؟" هل أحببت ذلك حقًا؟

قراءة البيانات

يوجد نصان برمجيان لبيثون متوفران في "./utils/":

  • read_meld.py - يعرض مسار ملف الفيديو المطابق لنطق في ملف .csv من MELD.
  • read_emorynlp - يعرض مسار ملف الفيديو المطابق لنطق في ملف .csv من مجموعة بيانات Multimodal EmoryNLP Emotion Detection.

وضع العلامات

للتجريب، يتم تمثيل جميع التسميات على شكل ترميزات واحدة ساخنة، وتكون مؤشراتها كما يلي:

  • العاطفة - {"محايد": 0، "مفاجأة": 1، "خوف": 2، "حزن": 3، "فرح": 4، "اشمئزاز": 5، "غضب": 6}. لذلك، فإن التسمية المقابلة للعاطفة "الفرح" ستكون [0.، 0.، 0.، 0.، 1.، 0.، 0.]
  • المشاعر - {'محايد': 0، 'إيجابي': 1، 'سلبي': 2}. ولذلك، فإن التسمية المقابلة للمشاعر "الإيجابية" ستكون [0., 1., 0.]

أوزان الطبقة

بالنسبة لخط الأساس لتصنيف المشاعر، تم استخدام أوزان الفئات التالية. الفهرسة هي نفسها كما ذكرنا أعلاه. أوزان الفئة: [4.0، 15.0، 15.0، 3.0، 1.0، 6.0، 3.0].

تشغيل خط الأساس

يرجى اتباع هذه الخطوات لتشغيل خط الأساس -

  1. قم بتحميل الميزات من هنا.
  2. انسخ هذه الميزات إلى ./data/pickles/
  3. لتدريب/اختبار النموذج الأساسي، قم بتشغيل الملف: baseline/baseline.py كما يلي:
    • python baseline.py -classify [Sentiment|Emotion] -modality [text|audio|bimodal] [-train|-test]
    • مثال على الأمر لتدريب النص الأحادي لتصنيف المشاعر: python baseline.py -classify Sentiment -modality text -train
    • استخدم python baseline.py -h للحصول على نص تعليمات للمعلمات.
  4. بالنسبة للنماذج المدربة مسبقًا، قم بتنزيل أوزان النماذج من هنا ووضع ملفات المخلل داخل ./data/models/ .

الاقتباس

يرجى الاستشهاد بالأوراق التالية إذا وجدت مجموعة البيانات هذه مفيدة في بحثك

S. Poria، D. Hazarika، N. Majumder، G. Naik، E. Cambria، R. Mihalcea. MELD: مجموعة بيانات متعددة الأطراف للتعرف على المشاعر أثناء المحادثة. دوري أبطال آسيا 2019.

Chen, SY, Hsu, CC, Kuo, CC and Ku, LW EmotionLines: مجموعة عاطفية من المحادثات متعددة الأطراف. arXiv طبعة أولية arXiv:1802.08379 (2018).

مجموعة بيانات التعرف على المشاعر EmoryNLP متعددة الوسائط

وصف

تم إنشاء مجموعة بيانات الكشف عن المشاعر EmoryNLP متعددة الوسائط من خلال تحسين وتوسيع مجموعة بيانات اكتشاف المشاعر EmoryNLP. وهو يحتوي على نفس مثيلات الحوار المتوفرة في مجموعة بيانات EmoryNLP Emotion Detection، ولكنه يشمل أيضًا الطريقة الصوتية والمرئية إلى جانب النص. يوجد أكثر من 800 حوار و9000 كلام من مسلسل Friends TV في مجموعة بيانات EmoryNLP متعددة الوسائط. وشارك العديد من المتحدثين في الحوارات. تم تصنيف كل كلام في الحوار بأي من هذه المشاعر السبعة - محايد، بهيج، مسالم، قوي، خائف، مجنون، وحزين. يتم استعارة التعليقات التوضيحية من مجموعة البيانات الأصلية.

إحصائيات مجموعة البيانات

إحصائيات يدرب ديف امتحان
# من الطريقة {أ، ت، ر} {أ، ت، ر} {أ، ت، ر}
# من الكلمات الفريدة 9,744 2,123 2,345
متوسط طول الكلام 7.86 6.97 7.79
الأعلى. طول الكلام 78 60 61
متوسط # من العواطف في كل مشهد 4.10 4.00 4.40
# من الحوارات 659 89 79
# من الأقوال 7551 954 984
# من المتحدثين 250 46 48
#تحول المشاعر 4596 575 653
متوسط مدة الكلام 5.55 ثانية 5.46 ثانية 5.27 ثانية

توزيع مجموعة البيانات

يدرب ديف امتحان
بهيجة 1677 205 217
مجنون 785 97 86
حيادي 2485 322 288
سلمي 638 82 111
قوي 551 70 96
حزين 474 51 70
مقدس 941 127 116

بيانات

يمكن تنزيل مقاطع الفيديو لمجموعة البيانات هذه من هذا الرابط. يمكن العثور على ملفات التعليقات التوضيحية في https://github.com/SenticNet/MELD/tree/master/data/emorynlp. هناك 3 ملفات .csv. يحتوي كل إدخال في العمود الأول من ملفات CSV هذه على عبارة يمكن العثور على مقطع الفيديو المطابق لها هنا. تتم فهرسة كل عبارة ومقطع الفيديو الخاص بها حسب رقم الموسم ورقم الحلقة ومعرف المشهد ومعرف الكلام. على سبيل المثال، sea1_ep2_sc6_utt3.mp4 يعني أن المقطع يتوافق مع الكلام مع رقم الموسم. 1، الحلقة رقم. 2، ومعرف_المشهد 6، ومعرف_النطق 3. المشهد هو مجرد حوار. تتوافق هذه الفهرسة مع مجموعة البيانات الأصلية. يتم تقسيم ملفات .csv وملفات الفيديو إلى مجموعة التدريب والتحقق والاختبار وفقًا لمجموعة البيانات الأصلية. تم استعارة التعليقات التوضيحية مباشرة من مجموعة بيانات EmoryNLP الأصلية (Zahiri et al. (2018)).

وصف ملفات .csv

مواصفات العمود

اسم العمود وصف
الكلام الكلام الفردي من EmoryNLP كسلسلة.
المتحدث اسم المتكلم المرتبط بالكلام.
العاطفة العاطفة (محايدة، بهيجة، مسالمة، قوية، خائفة، غاضبة، حزينة) التي يعبر عنها المتحدث في الكلام.
معرف_المشهد فهرس الحوار يبدأ من 0.
معرف_النطق فهرس اللفظ المعين في الحوار يبدأ من صفر.
موسم الموسم لا. من برنامج Friends TV الذي ينتمي إليه كلام معين.
حلقة الحلقة رقم. من برنامج Friends TV في موسم معين ينتمي إليه الكلام.
وقت البدء وقت بدء الكلام في الحلقة المحددة بالتنسيق "hh:mm:ss,ms".
وقت النهاية وقت انتهاء الكلام في الحلقة المحددة بالتنسيق "hh:mm:ss,ms".

ملاحظة : هناك بعض الكلمات التي لم نتمكن من العثور على وقت البداية والنهاية لها بسبب بعض التناقضات في الترجمة. لقد تم حذف مثل هذه العبارات من مجموعة البيانات. ومع ذلك، فإننا نشجع المستخدمين على العثور على العبارات المقابلة من مجموعة البيانات الأصلية وإنشاء مقاطع فيديو لها.

الاقتباس

يرجى الاستشهاد بالأوراق التالية إذا وجدت مجموعة البيانات هذه مفيدة في بحثك

S. ظاهري وجي دي تشوي. الكشف عن المشاعر في نصوص البرامج التلفزيونية باستخدام الشبكات العصبية التلافيفية القائمة على التسلسل. في ورشة عمل AAAI حول تحليل المحتوى العاطفي، AFFCON'18، 2018.

S. Poria، D. Hazarika، N. Majumder، G. Naik، E. Cambria، R. Mihalcea. MELD: مجموعة بيانات متعددة الأطراف للتعرف على المشاعر أثناء المحادثة. دوري أبطال آسيا 2019.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل