使用视听刺激的EEG编码模型及其单模对应模型的比较
Maansi Desai1, Alyssa M Field1, Liberty S Hamilton1,2
1Department of Speech, Language, and Hearing Sciences, Moody College of Communication, The University of Texas at Austin, Austin, Texas, United States of America.
PLoS computational biology
|September 9, 2024
概括
在现实世界中,通信使用视觉和声音. 这项研究发现,视觉信息在多式联络环境中比听觉信息更能影响大脑反应,这表明更丰富的数据集有利于神经科学研究.
科学领域:
- 神经科学是一个神经科学.
- 认知科学 认知科学
- 感官处理 感官处理
背景情况:
- 现实世界的沟通是多式联通,使用听觉和视觉线索.
- 神经科学实验经常使用单模刺激,使跨模信息的影响不清楚.
- 了解视觉和听觉信息如何在大脑中相互作用,对于自然主义感官编码至关重要.
研究的目的:
- 研究视觉和听觉信息对多式联络环境中的大脑反应的影响.
- 为了比较视听和单模条件中的感觉特征调整.
- 确定视觉信息与听觉信息对电脑电图 (EEG) 反应的相对影响.
主要方法:
- 从11名观看电影预告片的受试者身上记录了头皮脑电图 (EEG).
- 使用的视听 (AV),仅视觉 (V) 和仅音频 (A) 条件.
- 适应线性编码模型,将大脑的反应与声学,语音和视觉特征联系起来.
主要成果:
- 听觉特征调整在AV和A-only条件中是相似的.
- 视觉特征调整在AV和V条件中是相似的.
- 交叉预测显示,视觉信息对EEG的影响比听觉信息更大.
结论:
- 多模式数据集提供了丰富的信息,可以解决多个研究问题.
- 在这种情况下,与听觉信息相比,视觉信息对EEG反应的影响更大.
- 这些发现表明,研究人员可以利用多式联络数据,更全面地了解感官处理.
