物語の文脈は,視界から意味論的重要性へと視線を移す

科学分野:

• コグニティブ・サイエンス コグニティブ・サイエンス
• 計算神経科学とは
• 心理学 心理学とは

背景:

• 人間の眼の動きは,視覚情報の収集に不可欠であり,毎日10万回を超えています.
• 視線の行動は,視覚的特徴と認知的目標の両方によって影響を受け,単なる表現ではなく理解を目指しています.
• 情報の理解を更新する情報は,純粋に視覚的に目立つ要素よりも多くの注意を引くべきです.

研究 の 目的:

• 意味論的突出,理解を反映する,または視覚的突出が視線の行動をより良く予測するかどうかを調査する.
• 一貫した時間的な文脈が,シャッフルされた文脈と比較して,意味学的に顕著な情報への注意を高めるかどうかをテストする.
• 凝視分析のための意味論的突出性を定量化するために,大規模な言語モデルの有用性を評価する.

主な方法:

• 一貫した順序または一時的にシャッフルされた順序で提示された画像ナラティブを使用するフリービューイングのパラダイム.
• 大規模な言語モデルからの言語ナラティブと文脈的サプライズを使用して意味論的突出性を定量化するための計算モデルの開発.
• 最先端のビジュアル・サライエンシーモデル (DeepGaze-II) と対照的に,セマンティック・サライエンシーモデルの予測力を比較した.

主要な成果:

• 参加者は,シャッフルされたものと比較して,一貫したナラティブで意味学的に顕著なオブジェクトをより頻繁に,より速く見ました.
• 視覚的突出性は,一貫したおよびシャッフルされた物語の順序の間の凝視行動に差異的な効果を示さなかった.
• セマンティック・サライエンシー・モデルは,意味のある文脈で視線行動を説明する重要な能力を実証しました.

結論:

• 文脈によって情報を得た内部的認知モデルは,視覚的注意を積極的に誘導する.
• 言語モデルで定量化できる意味論的突出性は,理解主導のタスクにおける視線行動の重要な決定因子です.
• 言語モデルは,複雑で有意義な視覚環境における視線を分析するための有望なアプローチを提供します.