在口语理解中整合视觉和语言信息

科学领域:

• 认知心理学 认知心理学
• 心理语言学 心理语言学
• 神经科学是一个神经科学.

背景情况:

• 精神语言学传统上假定语法处理是从其他认知系统中封装的.
• 这种模块化视图表明,早期语言处理仅依赖于听觉输入.

研究的目的:

• 研究视觉背景对实时口语理解的影响.
• 要确定视觉信息是否会影响语法处理的早期阶段.

主要方法:

• 利用头部安装的眼睛跟踪系统来记录参与者的眼睛运动.
• 实验对象在听口语指令时执行对象操纵任务.
• 分析眼动,以推断语言理解过程中的认知过程.

主要成果:

• 视觉上下文显著影响了口语识别.
• 视觉信息通过口语中介语法处理.
• 这些效应是在语言处理的最早时刻观察到的.

结论:

• 这些发现挑战了语法处理的封装模型.
• 口语理解不是严格的模块化,并且快速整合视觉信息.
• 视觉上下文在早期语言处理和理解中起着至关重要的作用.