gazeRE dataset

Gazere-Dataset

Realizamos um estudo de usuário no qual pedimos aos usuários que classificassem a relevância dos textos de leitura em relação a uma pergunta de gatilho. Registramos o sinal de olhar do usuário e suas classificações de relevância. Este repositório contém um conjunto de scripts e rotinas para carregar, processar e analisar o conjunto de dados gravado. O objetivo final é estimar a relevância percebida do usuário usando o aprendizado de máquina com o sinal do olhar como entrada.

pacote	descrição
data_loading	Carregue o conjunto de dados gravado, ou partes dele, em uma única estrutura de dados. Carregue dados por parágrafo e por visita ao parágrafo, ou seja, um caminho contínuo para um parágrafo que começa com um olhar inicial para um parágrafo e termina quando o sinal do olhar sai da área do parágrafo.
features	Extração de recursos baseados em olhar para um determinado caminho de varredura.
data	Gazere-Dataset

Consulte os arquivos de leitura específicos para obter informações mais detalhadas.

Conjunto de dados

O conjunto de dados gravado inclui classificações de relevância (relevância percebida) de 24 participantes para 12 estímulos do corpus g-REL e 12 estímulos do Google NQ Corpus. Os dados de estímulos utilizados em nosso estudo são pares de perguntas e documentos de gatilho com um ou vários parágrafos. Utilizamos um subconjunto do corpus G-Rel [1] com documentos de parágrafo único que se encaixam em uma página e os pares selecionados do corpus de perguntas naturais do Google (NQ), que incluem documentos de vários parágrafos que requerem rolagem [2]. Ambos os corpora incluem anotações de relevância por parágrafo, que chamamos de relevância do sistema.

Além disso, ao longo de sua tarefa, o olhar do participante na tela é gravado e salvo para cada documento.

Estrutura de pastas

O conjunto de dados gravado contém uma pasta para cada participante do estudo. A primeira letra do nome da pasta indica o corpus inicial do usuário, e cada corpus g-rel e GoogleNQ têm sua subpasta. Um arquivo CSV é criado a fase de leitura de um estímulo, contendo as gravações de olhar dos participantes no estímulo. O arquivo CSV é nomeado OrderID_StimulusID.csv , com o OrderID (0-11) indicando a ordem em que o usuário lê o estímulo. O StimulusID denota que documenta o usuário visualiza. Além disso, um arquivo User_Rating salva a estimativa de relevância do participante para cada estímulo após a fase de classificação.

 <participant_id>
    -GoogleNQ
            -<OrderID_StimulusID>.csv
            -User_Rating
    -g-REL
            -<OrderID_StimulusID>.csv
            -User_Rating

Estrutura do quadro de dados

  ['timestamp', 'gaze_x', 'gaze_y', 'gaze_y_abs', 'fixation_id', 'scroll_y', 'paragraph_id']

campo	descrição
timestamp	Timestamp para cada amostra de olhar em [s]
gaze_x	Posição do olhar horizontal
gaze_y	Posição do olhar vertical
gaze_y_abs	Posição absoluta de olhar vertical no documento. (Canto superior esquerdo [0.0, doc_max_y] inferior direito [2560.0, 0.0] )
fixation_id	ID da fixação atual [0, num_fixation] ou None se não houver fixação
scroll_y	Posição de rolagem relativa [1.0, 0.0] (superior: 1.0 inferior: 0.0 )
paragraph_id	Id do parágrafo que é atingido pelo sinal do olhar [-2 to 6] com -1 referindo -se à área manchete e -2 referindo -se ao espaço livre restante e -3 referindo -se ao botão de classificação

A tela tem uma resolução de 2560x1440 . Portanto, todas as coordenadas X estão entre [0.0, 2560.0] e as coordenadas y entre [0.0, 1440.0] .

Cite -nos

Ao usar nosso conjunto de dados ou implementação de recursos, cite o seguinte artigo:

 @article{barz_implicit_2021,
   title = {Implicit {Estimation} of {Paragraph} {Relevance} from {Eye} {Movements}},
   issn = {2624-9898},
   url = {https://www.frontiersin.org/articles/10.3389/fcomp.2021.808507},
   doi = {10.3389/fcomp.2021.808507},
   journal = {Frontiers in Computer Science},
   author = {Barz, Michael and Bhatti, Omair Shahzad and Sonntag, Daniel},
   year = {2021},
}

Referências

[1] Jacek Gwizdka. 2014. Caracterizando a relevância com medidas de rastreamento ocular. Em Anais da 5ª Interação da Informação no Simpósio de Contexto (IIIX '14). Association for Computing Machinery, Nova York, NY, EUA, 58-67. Doi: https://doi.org/10.1145/2637002.2637011

[2] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc le, Slava Petrov; Perguntas naturais: Uma referência para pesquisas de resposta a perguntas. Transações da Associação para Linguística Computacional 2019; 7 453-466. doi: https://doi.org/10.1162/tacl_a_00276