gazeRE dataset
1.0.0
ユーザー調査を実施しました。この調査では、トリガーの質問に関して、読み取りテキストの関連性を評価するようにユーザーに依頼しました。ユーザーの視線信号と関連性の評価を記録しました。このリポジトリには、記録されたデータセットをロード、処理、分析するための一連のスクリプトとルーチンが含まれています。究極の目標は、視線信号を入力として機械学習を使用して、ユーザーの知覚される関連性を推定することです。
| パッケージ | 説明 |
|---|---|
data_loading | 記録されたデータセットまたはその一部を単一のデータ構造にロードします。パラグラフごとにデータを読み込み、段落訪問ごと、つまり、段落の最初の視線から始まり、視線信号が段落領域を離れるときに終了する段落の連続スキャンパス。 |
features | 特定のスキャンパスの視線ベースの機能の抽出。 |
data | gazere-dataset |
詳細については、特定のREADMEファイルを参照してください。
記録されたデータセットには、 g-RELコーパスの12刺激とGoogle NQコーパスの12刺激の24参加者からの関連性評価（認識された関連性）が含まれています。私たちの研究で使用されている刺激データは、1つまたは複数の段落を備えたトリガー質問とドキュメントのペアです。 GRELコーパス[1]のサブセットを使用して、1つのページに適合する単一パラグラフドキュメントと、スクロール[2]を必要とするマルチパラグラフドキュメントを含むGoogle Natural質問（NQ）コーパスから選択したペアを使用します。両方のコーパスには、システム関連性と呼ばれる段落ごとの関連注釈が含まれています。
さらに、タスク全体で、画面上の参加者の視線が記録され、各ドキュメントに対して保存されます。
録音されたデータセットには、調査の参加者ごとに1つのフォルダーが含まれています。フォルダー名の最初の文字は、ユーザーの開始コーパスを示し、各コーパスg-relとGoogleNQにはサブフォルダーがあります。 CSVファイルは、刺激に関する参加者の視線記録を含む刺激の読み取り段階を作成します。 CSVファイルはOrderID_StimulusID.csvという名前で、 OrderID （0-11）はユーザーが刺激を読み取る順序を示します。 StimulusIDユーザービューを文書化することを示します。さらに、 User_Ratingファイルは、評価段階の後に各刺激の参加者の関連性推定を保存します。
<participant_id>
-GoogleNQ
-<OrderID_StimulusID>.csv
-User_Rating
-g-REL
-<OrderID_StimulusID>.csv
-User_Rating
['timestamp', 'gaze_x', 'gaze_y', 'gaze_y_abs', 'fixation_id', 'scroll_y', 'paragraph_id']
| 分野 | 説明 |
|---|---|
timestamp | [s]の各視線サンプルのタイムスタンプ |
gaze_x | 水平視線位置 |
gaze_y | 垂直視線位置 |
gaze_y_abs | ドキュメント内の絶対垂直視線位置。 （左上[0.0, doc_max_y]右下[2560.0, 0.0] ） |
fixation_id | 現在の固定[0, num_fixation]のIDまたは固定がない場合はNone |
scroll_y | 相対スクロール位置[1.0, 0.0] （上： 1.0ボトム： 0.0 ） |
paragraph_id | 視線信号[-2 to 6]がヒットした段落のIDで、 -1領域を参照し、 -2残りの自由空間を参照し、 -3評価ボタンを指します |
画面の解像度は2560x1440です。したがって、すべてのX座標は[0.0, 2560.0]と[0.0, 1440.0]の間のY座標の間にあります。
データセットまたは機能の実装を使用する場合は、次の記事を引用してください。
@article{barz_implicit_2021,
title = {Implicit {Estimation} of {Paragraph} {Relevance} from {Eye} {Movements}},
issn = {2624-9898},
url = {https://www.frontiersin.org/articles/10.3389/fcomp.2021.808507},
doi = {10.3389/fcomp.2021.808507},
journal = {Frontiers in Computer Science},
author = {Barz, Michael and Bhatti, Omair Shahzad and Sonntag, Daniel},
year = {2021},
}
[1] Jacek Gwizdka。 2014年。視力測定との関連性を特徴付ける。コンテキストシンポジウム（IIIX '14）の第5情報相互作用の議事録。米国ニューヨーク州ニューヨークのコンピューティング機械協会、58–67。 doi：https：//doi.org/10.1145/2637002.2637011
[2] Tom Kwiatkowski、Jennimaria Palomaki、Olivia Redfield、Michael Collins、Ankur Parikh、Chris Alberti、Danielle Epstein、Illia Polosukhin、Jacob Devlin、Kenton Lee、Kristina Toutanova、Llion Jones、Matthew、Ming-Wei Chang、 Dai、Jakob Uszkoreit、Quoc Le、Slav Petrov;自然な質問：質問に答えるためのベンチマーク。計算言語学会2019の取引。 7 453–466。 doi：https：//doi.org/10.1162/tacl_a_00276
