早期或同步的手势有助于语音回忆 - - 一项基于移动捕捉数据的研究

科学领域:

• 认知科学 认知科学
• 心理语言学 心理语言学
• 人与计算机的交互

背景情况:

• 语音和手势之间的时间协调在自然沟通中得到了很好的记录.
• 手势通常与语义相关单词中的强调音节保持一致.

研究的目的:

• 调查语音和手势之间的时间协调如何影响口语记忆.
• 为了确定语音和手势的处理是否同步.

主要方法:

• 83名参与者观看了扬声器的3D动画视频,使用同步,延迟,预置或消除的手势.
• 参与者完成了一项免费的回忆任务,以评估目标词的记忆.
• 通过将目标词包含在重述中来衡量回忆力的强度.

主要成果:

• 与同步手势相比,消除和延迟的手势显著减少了单词回忆.
• 与同步手势相比,预设的手势没有对回忆产生负面影响.
• 在手势发作和强调音节发作之间的较长延迟与更差的回忆相关.

结论:

• 语音手势同步在语音记忆中起着至关重要的作用.
• 在自然语音手势制作中观察到的时间模式促进了最佳的记忆回忆.
• 3D动画和动作捕捉为研究语音手势理解提供了可行的方法.