听觉人工网络与大量的个人fMRI大脑数据的调整导致大脑编码和下游任务的可泛化改进

科学领域:

• 神经科学和人工智能 人工智能
• 计算式听觉神经科学 计算式听觉神经科学
• 机器学习用于大脑建模

背景情况:

• 人工神经网络 (ANN) 越来越多地用于模拟大脑过程,在视觉领域的成功应用.
• 将ANN与大脑活动对齐旨在通过利用神经动态来提高AI任务性能.
• 通过直接使用大脑数据来训练ANN,由于数据集规模较小,这会带来计算挑战.

研究的目的:

• 研究创建与个体大脑活动一致的听觉ANNs的可行性.
• 为了确定大脑对齐是否能改善大脑对新型听觉刺激的编码.
• 评估是否大脑对齐的表征可以概括到多样化和复杂的听觉任务.

主要方法:

• 精细调整预训练的卷积神经网络 (SoundNet) 使用功能磁共振成像 (fMRI) 来自Courtois神经模型项目的数据.
• 利用"朋友"电视剧的大数据集来记录大脑活动,以及下游听觉任务的HEAR基准.
• 对比个体和群体的大脑对齐模型,用于大脑编码和任务执行.

主要成果:

• 通过将SoundNet与个体听力皮质活动对齐,大脑对未见刺激进行编码显著改善.
• 脑调整模型在HEAR基准上显示出一致的性能增长,特别是在训练数据有限的任务中.
• 个体大脑对齐模型经常匹配或超越组模型,突出显示数据效率.

结论:

• 将人工神经网络的表示与个人的大脑活动对齐,对于听觉处理是可行的.
• 大脑对齐为具有有限训练数据的任务提供了显著的好处,提高了概括性.
• 需要进一步的研究来探索更大的模型和少数射击学习应用程序.