在评估母语和非母语语言的语音信息时,说话的面部的视觉扫描模式
Xizi Deng1, Elise McClay1, Erin Jastrzebski1
1Department of Linguistics, Simon Fraser University, Burnaby BC, Canada.
PloS one
|May 28, 2024
概括
听众使用视觉线索来提高语音理解. 眼睛跟踪显示,与母语处理不同的是,口腔看起来有助于非母语处理,特别是对于prosodic信息.
科学领域:
- 心理语言学 心理语言学
- 听觉和视觉语音感知
背景情况:
- 面部的视觉线索可以增强听觉语音理解.
- 口腔运动传递细分和持续的信息,而头部和眉毛的运动是指向前行.
- 语言经验对视觉语音感知的影响尚未得到充分理解.
研究的目的:
- 研究如何视觉扫描一个说话的脸预测语音理解的准确性.
- 确定语言熟悉对使用视觉语音线索的影响.
- 为了区分分段式与prosodic语音信息的视觉处理.
主要方法:
- 用眼睛追踪来监测参与者对不同面部区域的视觉注意力.
- 参与者执行了一项语音理解任务,涉及英语 (母语) 和普通话 (非母语) 的句子.
- 刺激在细分和/或前信息方面有所不同,参与者判断句子匹配.
主要成果:
- 增加对口腔的视觉注意力预测了非母语试验中的正确反应.
- 与母语试验相比,非母语试验对口腔的固定延迟延迟,特别是当只有prosodic信息可用时.
- 在母语试验中,撒卡德振幅更大,这表明在非母语试验中,视觉注意力更集中.
结论:
- 在处理非母语语言时,口看更为突出.
- 语言的熟悉性显著调节了语音的视觉处理,特别是在prosodic线索.
- 这些发现突出了听觉和视觉信息在不同语言背景的语音理解中的动态相互作用.
