从rPPG通过生理启发的时间编码和基于注意力的课程学习来识别rPPG的情绪
Changmin Lee1, Hyunwoo Lee2, Mincheol Whang1
1Department of Human-Centered Artificial Intelligence, Sangmyung University, Seoul 03016, Republic of Korea.
Sensors (Basel, Switzerland)
|July 12, 2025
概括
这项研究引入了一种深度学习框架,用于使用远程光电显微镜 (rPPG) 进行非接触式情绪识别. 该模型对兴奋检测有希望,但强调了对价值识别的局限性,表明需要采用多式联络方法.
科学领域:
- 情感计算是一种情感计算.
- 生理信号处理 物理信号处理
- 机器学习用于情绪识别和识别.
背景情况:
- 远程光电显微镜 (rPPG) 提供非接触式情绪识别.
- 挑战包括稀疏的情绪反应,噪音,弱标签和微妙的价值相关.
研究的目的:
- 开发一个深度学习框架,从rPPG信号中进行强大的情绪识别.
- 在基于rPPG的情感分析中解决时间稀疏,噪音和弱标签的挑战.
主要方法:
- 一个新的深度学习框架与多尺度时间动态编码器 (MTDE).
- 适应性稀疏α-Entmax注意力和Gated Temporal Pooling用于特征聚合.
- 一个三个阶段的课程学习策略来管理数据的复杂性.
主要成果:
- 仅限时间的模型实现了竞争激发识别精度 (66.04%) 和F1得分 (61.97%).
- 价值识别的准确性较低 (62.26%),表明单模式时间分析的局限性.
- 建立了仅限时间的rPPG情绪识别的基准.
结论:
- 拟议的框架显示了从rPPG. 启发识别的潜力.
- 单模时心血管分析对价值识别有固有的局限性.
- 未来的研究应该整合空间或多模式数据,以实现全面的情感识别.


