跨主体情绪识别 基于fNIRS和DBJNet的脑计算机接口
Xiaopeng Si1,2, Huang He1,2, Jiayue Yu2,3
1Academy of Medical Engineering and Translational Medicine, Tianjin University, Tianjin 300072, People's Republic of China.
Cyborg and bionic systems (Washington, D.C.)
|July 31, 2023
概括
功能近红外光谱学 (fNIRS) 通过使用一种新的深度学习模型,有效地解码不同受试者的情绪. 这种脑-计算机接口的进步显示出对现实世界情感计算应用的希望.
科学领域:
- 神经科学是一个神经科学.
- 大脑与计算机的接口
- 情感计算是一种情感计算.
背景情况:
- 功能近红外光谱 (fNIRS) 是一种非侵入性脑成像技术,越来越多地用于情绪识别.
- 目前的fNIRS情感识别研究主要局限于主体内分析,缺乏跨主体概括.
- 需要强大的方法来解码使用fNIRS的不同个体之间的情绪.
研究的目的:
- 开发和验证使用fNIRS数据的跨主体情绪识别模型.
- 使用视频刺激构建一个新的fNIRS情感识别数据库.
- 引入深度学习以实现跨主题的情感解码,使用fNIRS.
主要方法:
- 使用视频作为刺激设计了一个唤起情感的实验.
- 构建了一个新的fNIRS情绪识别数据库.
- 开发了一个双分支联合网络 (DBJNet),将深度学习纳入跨学科概括.
主要成果:
- 拟议的DBJNet实现了74.8%的准确性和72.9%的F1分数,用于区分积极,中立和负面情绪.
- 在两个类别的任务中观察到高精度:89.5% (正比中性) 和91.7% (负比中性).
- 废除研究证实,结合的卷积神经网络和统计分支产生了最佳的性能.
结论:
- fNIRS展示了有效的跨主体情绪解码的巨大潜力.
- 开发的DBJNet模型可以对新参与者进行概括,从而推进基于fNIRS的情感识别.
- 这项研究有助于开发基于fNIRS的情感大脑计算机接口.
