我們進行了一項用戶研究,在該研究中,我們要求用戶對讀取文本的相關性對觸發問題的相關性進行評分。我們記錄了用戶的目光信號及其相關性評分。該存儲庫包含一組腳本和例程,用於加載,處理和分析錄製的數據集。最終目標是使用用注視信號作為輸入的機器學習來估算用戶的感知相關性。
包裹 | 描述 |
---|---|
data_loading | 將記錄的數據集或該數據集加載到單個數據結構中。每個段落和每個段落訪問加載數據,即,對段落的連續掃描路徑,該段落從初始注視開始,然後在凝視信號離開段落區域時結束。 |
features | 提取一定掃描路徑的基於目光的特徵。 |
data | Gazere-Dataset |
有關更多詳細信息,請參見特定的讀數文件。
記錄的數據集包括來自g-REL
語料庫的12
刺激的24
參與者的相關性評分(感知相關性)和Google NQ
語料庫的12
刺激。我們研究中使用的刺激數據是一對帶有一個或多個段落的觸發問題和文檔。我們將來自G-Rel語料庫[1]的子集與適合一頁的單段文檔一起使用,並從Google自然問題(NQ)中選擇對,其中包括需要滾動的多段落文檔[2]。這兩個語料庫都包括每個段落的相關性註釋,我們稱為系統相關性。
此外,在他們的任務中,參與者在屏幕上的目光記錄並為每個文檔保存。
記錄的數據集包含一個研究人員的一個文件夾。文件夾名稱的第一個字母表示用戶的啟動語料庫,每個語料庫g-rel
和GoogleNQ
都有其子文件夾。創建了一個CSV文件的刺激的閱讀階段,其中包含參與者在刺激上的注視記錄。 CSV文件命名為OrderID_StimulusID.csv
, OrderID
(0-11)指示用戶讀取刺激的順序。 StimulusID
表示用戶查看的記錄。此外,在評分階段之後, User_Rating
文件節省了參與者對每個刺激的相關性估計。
<participant_id>
-GoogleNQ
-<OrderID_StimulusID>.csv
-User_Rating
-g-REL
-<OrderID_StimulusID>.csv
-User_Rating
['timestamp', 'gaze_x', 'gaze_y', 'gaze_y_abs', 'fixation_id', 'scroll_y', 'paragraph_id']
場地 | 描述 |
---|---|
timestamp | [s] 中每個凝視樣本的時間戳 |
gaze_x | 水平凝視位置 |
gaze_y | 垂直注視位置 |
gaze_y_abs | 文檔中的絕對垂直凝視位置。 (左上[0.0, doc_max_y] 右下角[2560.0, 0.0] ) |
fixation_id | 當前固定的ID [0, num_fixation] 或None 固定 |
scroll_y | 相對滾動位置[1.0, 0.0] (頂部: 1.0 底部: 0.0 ) |
paragraph_id | 被凝視信號擊中的段落的ID [-2 to 6] 其中-1 的是標題區域, -2 的是剩餘的自由空間, -3 的是評分按鈕 |
屏幕的分辨率為2560x1440
。因此,所有X坐標都位於[0.0, 2560.0]
和[0.0, 1440.0]
之間的y坐標之間。
使用我們的數據集或我們的功能實施時,請引用以下文章:
@article{barz_implicit_2021,
title = {Implicit {Estimation} of {Paragraph} {Relevance} from {Eye} {Movements}},
issn = {2624-9898},
url = {https://www.frontiersin.org/articles/10.3389/fcomp.2021.808507},
doi = {10.3389/fcomp.2021.808507},
journal = {Frontiers in Computer Science},
author = {Barz, Michael and Bhatti, Omair Shahzad and Sonntag, Daniel},
year = {2021},
}
[1] Jacek Gwizdka。 2014年。表徵與眼睛追踪措施相關性。在上下文研討會中第五信息相互作用的會議錄中(IIIX '14)。計算機協會,美國紐約,紐約,58-67。 doi:https://doi.org/10.1145/2637002.2637011
[2] Tom Kwiatkowski,Jennimaria Palomaki,Olivia Redfield,Michael Collins,Ankur Parikh,Chris Alberti,Chris Alberti,Chris Alberti,Danielle Epstein,Illia Polosukhin,Jacob Devlin,Kenton Lee,Kenton Lee,Kristina Toutanova,Kristina Toutanova,Kristina Toutanova ,Llion Jones,Llion Jones,Matthew Kelcey,Matthew Kelcey,M.Charper,M.Charch和M.N.M.N.M.N.M.S. Dai,Jakob Uszkoreit,Quoc LE,Slav Petrov;自然問題:回答研究的問題的基準。 2019年計算語言學協會交易; 7 453–466。 doi:https://doi.org/10.1162/tacl_a_00276