从多式联络行为信号的多式联络对话期间大脑活动的可解释预测

科学领域:

• 神经科学是一个神经科学.
• 认知科学 认知科学
• 人与计算机的交互

背景情况:

• 从行为中预测大脑活动是具有挑战性的,特别是在不受控制的社交互动中.
• 了解大脑如何处理来自不同代理人的 (人与机器人) 社交线索至关重要.

研究的目的:

• 开发和验证一个分析框架,用多式模式行为记录来预测本地大脑活动.
• 识别基本的行为特征及其权重,以便在对话期间预测特定区域的大脑活动.
• 研究这些特征和重量如何根据大脑区域和对话伙伴的性质不同.

主要方法:

• 从原始行为记录 (音频,视频) 中提取高级特征.
• 将动态预测模型应用于二元化功能磁共振成像 (fMRI) 数据.
• 利用参与者与人类或人形机器人代理人之间的不受控制的对话.
• 专注于参与语言处理和社会认知的大脑区域.

主要成果:

• 该框架在预测局部大脑活动方面显著优于随机机会.
• 量化了不同行为特征对预测的相对重要性 (权重).
• 确定了"感知语音"作为预测左上神经中活动的关键特征,不管代理人是谁.
• 发现了特定于代理人的行为特征,有助于预测像TemporoParietal Junction这样的社会认知区域.

结论:

• 开发的框架有效地预测了复杂的社会互动期间从行为信号中预测大脑活动.
• 它提供了对大脑各区域行为线索的差异整合的见解,以及对人类与机器人代理人的反应.
• 这种方法为研究社会认知和人机交互的基础神经机制提供了一种新的方法.