Página Inicial>Relacionado com a programação>Código-Fonte de IA
Baixar

MELD: um conjunto de dados multimodal multipartidário para reconhecimento de emoções em conversas

Observação

Se você estiver interessado em testes de QI LLMs, confira nosso novo trabalho: AlgoPuzzleVQA

Lançamos os recursos visuais extraídos usando Resnet - https://github.com/declare-lab/MM-Align

Para linhas de base atualizadas, visite este link: conv-emotion

Para baixar os dados, use wget: wget http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Raw.tar.gz

Tabela de classificação

Atualizações

10/10/2020: Novo artigo e SOTA em Reconhecimento de emoções em conversas no conjunto de dados MELD. Consulte o diretório COSMIC para obter o código. Leia o artigo - COSMIC: conhecimento COmmonSense para identificação de eMotion em conversas.

22/05/2019: MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversation foi aceito como artigo completo no ACL 2019. O artigo atualizado pode ser encontrado aqui - https://arxiv.org/pdf/1810.02508. pdf

22/05/2019: Dyadic MELD foi lançado. Pode ser usado para testar modelos conversacionais diádicos.

15/11/2018: O problema no train.tar.gz foi corrigido.

Trabalhos de pesquisa usando MELD

Zhang, Yazhou, Qiuchi Li, Dawei Song, Peng Zhang e Panpan Wang. "Redes interativas de inspiração quântica para análise de sentimentos conversacionais." IJCAI 2019.

Zhang, Dong, Liangqing Wu, Changlong Sun, Shoushan Li, Qiaoming Zhu e Guodong Zhou. "Modelando a dependência sensível ao contexto e ao alto-falante para detecção de emoções em conversas com vários alto-falantes." IJCAI 2019.

Ghosal, Deepanway, Navonil Majumder, Soujanya Poria, Niyati Chhaya e Alexander Gelbukh. "DialogueGCN: Uma rede neural convolucional gráfica para reconhecimento de emoções em conversas." EMNLP 2019.

Introdução

O conjunto de dados Multimodal EmotionLines (MELD) foi criado aprimorando e estendendo o conjunto de dados EmotionLines. MELD contém as mesmas instâncias de diálogo disponíveis no EmotionLines, mas também abrange a modalidade áudio e visual junto com o texto. MELD tem mais de 1.400 diálogos e 13.000 enunciados da série de TV Friends. Vários palestrantes participaram dos diálogos. Cada expressão num diálogo foi rotulada por qualquer uma destas sete emoções – Raiva, Nojo, Tristeza, Alegria, Neutro, Surpresa e Medo. MELD também possui anotação de sentimento (positivo, negativo e neutro) para cada expressão.

Exemplo de diálogo

Estatísticas do conjunto de dados

Estatísticas Trem Desenvolvedor Teste
# da modalidade {a,v,t} {a,v,t} {a,v,t}
# de palavras únicas 10.643 2.384 4.361
Média comprimento da expressão 8.03 7,99 8.28
Máx. comprimento da expressão 69 37 45
Média # de emoções por diálogo 15h30 3,35 3.24
# de diálogos 1039 114 280
Nº de declarações 9989 1109 2610
# de alto-falantes 260 47 100
# de mudança de emoção 4003 427 1003
Média duração de um enunciado 3,59s 3,59s 3,58s

Visite https://affective-meld.github.io para mais detalhes.

Distribuição de conjunto de dados

Trem Desenvolvedor Teste
Raiva 1109 153 345
Nojo 271 22 68
Temer 268 40 50
Alegria 1743 163 402
Neutro 4710 470 1256
Tristeza 683 111 208
Surpresa 1205 150 281

Propósito

A análise de dados multimodais explora informações de múltiplos canais de dados paralelos para a tomada de decisões. Com o rápido crescimento da IA, o reconhecimento de emoções multimodais ganhou um grande interesse de investigação, principalmente devido às suas potenciais aplicações em muitas tarefas desafiantes, tais como geração de diálogo, interacção multimodal, etc. analisando as emoções do usuário. Embora existam numerosos trabalhos realizados sobre o reconhecimento multimodal de emoções, apenas alguns realmente se concentram na compreensão das emoções nas conversas. No entanto, o seu trabalho é limitado apenas à compreensão de conversas diádicas e, portanto, não é escalável para o reconhecimento de emoções em conversas multipartidárias com mais de dois participantes. EmotionLines pode ser utilizado como recurso de reconhecimento de emoções apenas para texto, pois não inclui dados de outras modalidades como visual e áudio. Ao mesmo tempo, deve-se notar que não existe um conjunto de dados de conversação multimodal multipartidário disponível para pesquisa de reconhecimento de emoções. Neste trabalho, estendemos, melhoramos e desenvolvemos o conjunto de dados EmotionLines para o cenário multimodal. O reconhecimento de emoções em turnos sequenciais apresenta vários desafios e a compreensão do contexto é um deles. A mudança emocional e o fluxo emocional na sequência de turnos de um diálogo tornam a modelagem precisa do contexto uma tarefa difícil. Neste conjunto de dados, como temos acesso às fontes de dados multimodais para cada diálogo, hipotetizamos que irá melhorar a modelagem do contexto, beneficiando assim o desempenho geral do reconhecimento de emoções. Este conjunto de dados também pode ser usado para desenvolver um sistema de diálogo afetivo multimodal. IEMOCAP, SEMAINE são conjuntos de dados conversacionais multimodais que contêm rótulos emocionais para cada expressão. No entanto, esses conjuntos de dados são de natureza diádica, o que justifica a importância do nosso conjunto de dados Multimodal-EmotionLines. Os outros conjuntos de dados multimodais de reconhecimento de emoções e sentimentos disponíveis publicamente são MOSEI, MOSI, MOUD. No entanto, nenhum desses conjuntos de dados é conversacional.

Criação de conjunto de dados

A primeira etapa trata de encontrar o carimbo de data/hora de cada enunciado em cada um dos diálogos presentes no conjunto de dados EmotionLines. Para fazer isso, rastreamos os arquivos de legenda de todos os episódios que contêm o carimbo de data e hora de início e fim dos enunciados. Esse processo nos permitiu obter o ID da temporada, o ID do episódio e o carimbo de data/hora de cada enunciado no episódio. Colocamos duas restrições ao obter os carimbos de data e hora: (a) os carimbos de data e hora dos enunciados em um diálogo devem estar em ordem crescente, (b) todos os enunciados em um diálogo devem pertencer ao mesmo episódio e cena. A restrição a essas duas condições revelou que em EmotionLines, alguns diálogos consistem em múltiplos diálogos naturais. Filtramos esses casos do conjunto de dados. Por causa desta etapa de correção de erros, em nosso caso, temos um número diferente de diálogos em comparação com as EmotionLines. Após obter o carimbo de data/hora de cada enunciado, extraímos os clipes audiovisuais correspondentes do episódio fonte. Separadamente, também retiramos o conteúdo de áudio desses videoclipes. Finalmente, o conjunto de dados contém modalidade visual, sonora e textual para cada diálogo.

Papel

O artigo que explica este conjunto de dados pode ser encontrado - https://arxiv.org/pdf/1810.02508.pdf

Baixe os dados

Visite - http://web.eecs.umich.edu/~mihalcea/downloads/MELD.Raw.tar.gz para baixar os dados brutos. Os dados são armazenados no formato .mp4 e podem ser encontrados em arquivos XXX.tar.gz. As anotações podem ser encontradas em https://github.com/declare-lab/MELD/tree/master/data/MELD.

Descrição dos arquivos .csv

Especificação da coluna

Nome da coluna Descrição
Sr. Não. Números de série dos enunciados principalmente para referenciar os enunciados no caso de versões diferentes ou cópias múltiplas com subconjuntos diferentes
Enunciado Enunciados individuais de EmotionLines como uma string.
Palestrante Nome do locutor associado ao enunciado.
Emoção A emoção (neutra, alegria, tristeza, raiva, surpresa, medo, nojo) expressa pelo locutor no enunciado.
Sentimento O sentimento (positivo, neutro, negativo) expresso pelo locutor no enunciado.
Diálogo_ID O índice do diálogo começando em 0.
Enunciado_ID O índice da expressão específica no diálogo começando em 0.
Temporada A temporada não. do programa de TV Friends ao qual pertence uma determinada expressão.
Episódio O episódio não. do programa de TV Friends em uma determinada temporada à qual o enunciado pertence.
Hora de início A hora de início do enunciado no episódio determinado no formato 'hh:mm:ss,ms'.
Hora final O horário de término do enunciado no episódio determinado no formato 'hh:mm:ss,ms'.

Os arquivos

  • /data/MELD/train_sent_emo.csv - contém as declarações no conjunto de treinamento junto com os rótulos de Sentimento e Emoção.
  • /data/MELD/dev_sent_emo.csv - contém as declarações no conjunto de desenvolvimento junto com os rótulos de Sentimento e Emoção.
  • /data/MELD/test_sent_emo.csv - contém as declarações no conjunto de teste junto com os rótulos de Sentimento e Emoção.
  • /data/MELD_Dyadic/train_sent_emo_dya.csv - contém as declarações no conjunto de treinamento da variante diádica do MELD junto com os rótulos de Sentimento e Emoção. Para obter o videoclipe correspondente a um enunciado específico, consulte as colunas 'Old_Dialogue_ID' e 'Old_Utterance_ID'.
  • /data/MELD_Dyadic/dev_sent_emo_dya.csv - contém as declarações no conjunto de desenvolvimento da variante diádica junto com os rótulos de Sentimento e Emoção. Para obter o videoclipe correspondente a um enunciado específico, consulte as colunas 'Old_Dialogue_ID' e 'Old_Utterance_ID'.
  • /data/MELD_Dyadic/test_sent_emo_dya.csv - contém as declarações no conjunto de teste da variante diádica junto com os rótulos de Sentimento e Emoção. Para obter o videoclipe correspondente a um enunciado específico, consulte as colunas 'Old_Dialogue_ID' e 'Old_Utterance_ID'.

Descrição dos arquivos Pickle

Existem 13 arquivos pickle compostos por dados e recursos usados ​​para treinar os modelos de linha de base. A seguir está uma breve descrição de cada um dos arquivos pickle.

Arquivos de coleta de dados:

  • data_emotion.p, data_sentiment.p - Estes são os arquivos de dados primários que contêm 5 elementos diferentes armazenados como uma lista.
    • dados : consiste em um dicionário com os seguintes pares chave/valor.
      • texto : frase original.
      • split : train/val/test - indica a qual divisão a tupla pertence.
      • y : rótulo da frase.
      • dialog : ID do diálogo ao qual o enunciado pertence.
      • enunciado : número do enunciado do ID do diálogo.
      • num_words : número de palavras no enunciado.
    • W: matriz de incorporação de luvas
    • vocabulário: o vocabulário do conjunto de dados
    • word_idx_map: mapeamento de cada palavra do vocabulário para seu índice em W.
    • max_sentence_length: número máximo de tokens em um enunciado no conjunto de dados.
    • label_index: mapeamento de cada rótulo (emoção ou sentimento) para seu índice atribuído, por exemplo. rótulo_index['neutro']=0 
 import pickle
data , W , vocab , word_idx_map , max_sentence_length , label_index = pickle . load ( open ( filepath , 'rb' ))
  • text_glove_average_emotion.pkl, text_glove_average_sentiment.pkl - Consiste em 300 vetores de características textuais dimensionais de cada enunciado inicializado como a média dos embeddings de luva de todos os tokens por enunciado. É uma lista composta por 3 dicionários para train, val e o conjunto de teste com cada dicionário indexado no formato dia_utt , onde dia é o id do diálogo e utt é o id do enunciado. Por exemplo. train_text_avg_emb['0_0'].forma = (300, ) 
 import pickle
train_text_avg_emb , val_text_avg_emb , test_text_avg_emb = pickle . load ( open ( filepath , 'rb' ))
  • audio_embeddings_feature_selection_emotion.pkl,audio_embeddings_feature_selection_sentiment.pkl - Consiste em vetores de recursos de áudio dimensionais de 1611/1422 de cada expressão treinada para classificação de emoção/sentimento. Esses recursos são originalmente extraídos do openSMILE e depois seguidos pela seleção de recursos baseada em L2 usando SVM. É uma lista composta por 3 dicionários para train, val e o conjunto de teste com cada dicionário indexado no formato dia_utt , onde dia é o id do diálogo e utt é o id do enunciado. Por exemplo. train_audio_emb['0_0'].shape = (1611, ) ou (1422, ) 
 import pickle
train_audio_emb , val_audio_emb , test_audio_emb = pickle . load ( open ( filepath , 'rb' ))

Arquivos pickle de saída do modelo:

  • text_glove_CNN_emotion.pkl, text_glove_CNN_sentiment.pkl - Consiste em recursos textuais de 100 dimensões obtidos após treinamento em uma rede baseada em CNN para classificação de emoções/sentimentos. É uma lista composta por 3 dicionários para train, val e o conjunto de teste com cada dicionário indexado no formato dia_utt , onde dia é o id do diálogo e utt é o id do enunciado. Por exemplo. train_text_CNN_emb['0_0'].forma = (100, ) 
 import pickle
train_text_CNN_emb , val_text_CNN_emb , test_text_CNN_emb = pickle . load ( open ( filepath , 'rb' ))
  • text_emotion.pkl, text_sentiment.pkl - Esses arquivos contêm as representações de recursos contextuais produzidas pelo modelo unimodal bcLSTM. Consiste em um vetor de características textuais de 600 dimensões para cada enunciado para classificação de emoção/sentimento armazenado como um dicionário indexado com id de diálogo. É uma lista composta por 3 dicionários para train, val e conjunto de teste. Por exemplo. train_text_emb['0'].shape = (33, 600), onde 33 é o número máximo de declarações em um diálogo. Diálogos com menos enunciados são preenchidos com vetores zero. 
 import pickle
train_text_emb , val_text_emb , test_text_emb = pickle . load ( open ( filepath , 'rb' ))
  • audio_emotion.pkl, audio_sentiment.pkl - Esses arquivos contêm as representações de recursos contextuais produzidas pelo modelo unimodal bcLSTM. Consiste em um vetor de recursos de áudio dimensional 300/600 para cada enunciado para classificação de emoção/sentimento armazenado como um dicionário indexado com ID de diálogo. É uma lista composta por 3 dicionários para train, val e conjunto de teste. Por exemplo. train_audio_emb['0'].shape = (33, 300) ou (33, 600), onde 33 é o número máximo de declarações em um diálogo. Diálogos com menos enunciados são preenchidos com vetores zero. 
 import pickle
train_audio_emb , val_audio_emb , test_audio_emb = pickle . load ( open ( filepath , 'rb' ))
  • bimodal_sentiment.pkl - Este arquivo contém as representações de recursos contextuais produzidas pelo modelo biimodal bcLSTM. Ele consiste em um vetor de recursos bimodal (texto, áudio) de 600 dimensões para cada enunciado para classificação de sentimento armazenado como um dicionário indexado com ID de diálogo. É uma lista composta por 3 dicionários para train, val e conjunto de teste. Por exemplo. train_bimodal_emb['0'].shape = (33, 600), onde 33 é o número máximo de declarações em um diálogo. Diálogos com menos enunciados são preenchidos com vetores zero. 
 import pickle
train_bimodal_emb , val_bimodal_emb , test_bimodal_emb = pickle . load ( open ( filepath , 'rb' ))

Descrição dos dados brutos

  • Existem 3 pastas (arquivos .tar.gz) -train, dev e test; cada um deles corresponde a videoclipes das declarações nos 3 arquivos .csv.
  • Em qualquer pasta, cada videoclipe nos dados brutos corresponde a uma expressão no arquivo .csv correspondente. Os videoclipes são nomeados no formato: diaX1_uttX2.mp4, onde X1 é o Dialogue_ID e X2 é o Enunciado_ID conforme fornecido no arquivo .csv correspondente, denotando o enunciado específico.
  • Por exemplo, considere o videoclipe dia6_utt1.mp4 em train.tar.gz . A expressão correspondente para este videoclipe estará no arquivo train_sent_emp.csv com Dialogue_ID=6 e Utterance_ID=1 , que é 'Você gostou? Você realmente gostou?

Lendo os dados

Existem 2 scripts python fornecidos em './utils/':

  • read_meld.py - exibe o caminho do arquivo de vídeo correspondente a um enunciado no arquivo .csv do MELD.
  • read_emorynlp - exibe o caminho do arquivo de vídeo correspondente a uma expressão no arquivo .csv do conjunto de dados Multimodal EmoryNLP Emotion Detection.

Rotulagem

Para experimentação, todos os rótulos são representados como codificações one-hot, cujos índices são os seguintes:

  • Emoção - {'neutro': 0, 'surpresa': 1, 'medo': 2, 'tristeza': 3, 'alegria': 4, 'nojo': 5, 'raiva': 6}. Portanto, o rótulo correspondente à emoção ‘alegria’ seria [0., 0., 0., 0., 1., 0., 0.]
  • Sentimento - {'neutro': 0, 'positivo': 1, 'negativo': 2}. Portanto, o rótulo correspondente ao sentimento 'positivo' seria [0., 1., 0.]

Pesos de classe

Para a linha de base da classificação das emoções, foram utilizados os seguintes pesos de classe. A indexação é a mesma mencionada acima. Pesos de classe: [4,0, 15,0, 15,0, 3,0, 1,0, 6,0, 3,0].

Execute a linha de base

Siga estas etapas para executar a linha de base -

  1. Baixe os recursos aqui.
  2. Copie esses recursos em ./data/pickles/
  3. Para treinar/testar o modelo de linha de base, execute o arquivo: baseline/baseline.py da seguinte forma:
    • python baseline.py -classify [Sentiment|Emotion] -modality [text|audio|bimodal] [-train|-test]
    • comando de exemplo para treinar texto unimodal para classificação de sentimento: python baseline.py -classify Sentiment -modality text -train
    • use python baseline.py -h para obter texto de ajuda para os parâmetros.
  4. Para modelos pré-treinados, baixe os pesos do modelo aqui e coloque os arquivos pickle dentro de ./data/models/ .

Citação

Por favor, cite os seguintes artigos se você achar este conjunto de dados útil em sua pesquisa

S. Poria, D. Hazarika, N. Majumder, G. Naik, E. Cambria, R. Mihalcea. MELD: um conjunto de dados multimodal multipartidário para reconhecimento de emoções em conversas. ACL 2019.

Chen, SY, Hsu, CC, Kuo, CC e Ku, LW EmotionLines: um corpus emocional de conversas multipartidárias. Pré-impressão do arXiv arXiv:1802.08379 (2018).

Conjunto de dados de reconhecimento de emoção multimodal EmoryNLP

Descrição

O conjunto de dados multimodal EmoryNLP Emotion Detection foi criado aprimorando e estendendo o conjunto de dados EmoryNLP Emotion Detection. Ele contém as mesmas instâncias de diálogo disponíveis no conjunto de dados EmoryNLP Emotion Detection, mas também abrange a modalidade áudio e visual junto com o texto. Existem mais de 800 diálogos e 9.000 declarações da série de TV Friends no conjunto de dados multimodal EmoryNLP. Vários palestrantes participaram dos diálogos. Cada expressão num diálogo foi rotulada por qualquer uma destas sete emoções – Neutro, Alegre, Pacífico, Poderoso, Assustado, Louco e Triste. As anotações são emprestadas do conjunto de dados original.

Estatísticas do conjunto de dados

Estatísticas Trem Desenvolvedor Teste
# da modalidade {a,v,t} {a,v,t} {a,v,t}
# de palavras únicas 9.744 2.123 2.345
Média comprimento da expressão 7,86 6,97 7,79
Máx. comprimento da expressão 78 60 61
Média # de emoções por cena 4.10 4h00 4h40
# de diálogos 659 89 79
Nº de declarações 7551 954 984
# de alto-falantes 250 46 48
# de mudança de emoção 4596 575 653
Média duração de um enunciado 5,55s 5,46s 5,27s

Distribuição de conjunto de dados

Trem Desenvolvedor Teste
Alegre 1677 205 217
Louco 785 97 86
Neutro 2485 322 288
Pacífico 638 82 111
Poderoso 551 70 96
Triste 474 51 70
Assustado 941 127 116

Dados

Os videoclipes deste conjunto de dados podem ser baixados neste link. Os arquivos de anotação podem ser encontrados em https://github.com/SenticNet/MELD/tree/master/data/emorynlp. Existem 3 arquivos .csv. Cada entrada na primeira coluna desses arquivos csv contém uma expressão cujo videoclipe correspondente pode ser encontrado aqui. Cada enunciado e seu videoclipe são indexados pelo número da temporada, número do episódio, id da cena e id do enunciado. Por exemplo, sea1_ep2_sc6_utt3.mp4 implica que o clipe corresponde ao enunciado com a temporada no. 1, episódio não. 2, scene_id 6 e enunciado_id 3. Uma cena é simplesmente um diálogo. Esta indexação é consistente com o conjunto de dados original. Os arquivos .csv e os arquivos de vídeo são divididos em conjunto de treinamento, validação e teste de acordo com o conjunto de dados original. As anotações foram emprestadas diretamente do conjunto de dados EmoryNLP original (Zahiri et al. (2018)).

Descrição dos arquivos .csv

Especificação da coluna

Nome da coluna Descrição
Enunciado Enunciados individuais do EmoryNLP como uma string.
Palestrante Nome do locutor associado ao enunciado.
Emoção A emoção (neutra, alegre, pacífica, poderosa, assustada, louca e triste) expressa pelo locutor no enunciado.
Cena_ID O índice do diálogo começando em 0.
Enunciado_ID O índice da expressão específica no diálogo começando em 0.
Temporada A temporada não. do programa de TV Friends ao qual pertence uma determinada expressão.
Episódio O episódio não. do programa de TV Friends em uma determinada temporada à qual o enunciado pertence.
Hora de início A hora de início do enunciado no episódio determinado no formato 'hh:mm:ss,ms'.
Fim da Hora O horário de término do enunciado no episódio determinado no formato 'hh:mm:ss,ms'.

Nota : Existem alguns enunciados para os quais não conseguimos encontrar o horário de início e término devido a algumas inconsistências nas legendas. Tais declarações foram omitidas do conjunto de dados. No entanto, encorajamos os usuários a encontrar as declarações correspondentes no conjunto de dados original e gerar videoclipes para as mesmas.

Citação

Por favor, cite os seguintes artigos se você achar este conjunto de dados útil em sua pesquisa

S. Zahiri e JD Choi. Detecção de emoção em transcrições de programas de TV com redes neurais convolucionais baseadas em sequência. No Workshop AAAI sobre Análise de Conteúdo Afetivo, AFFCON'18, 2018.

S. Poria, D. Hazarika, N. Majumder, G. Naik, E. Cambria, R. Mihalcea. MELD: um conjunto de dados multimodal multipartidário para reconhecimento de emoções em conversas. ACL 2019.

Expandir
Informações adicionais
Aplicativos Relacionados
Recomendado para você
Informações Relacionadas Todos