两层空间时空特征融合了用于微表情识别的双流网络
Zebiao Wang1,2, Mingyu Yang1,2, Qingbin Jiao1,2
1Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China.
Sensors (Basel, Switzerland)
|March 13, 2024
概括
本研究引入了一种改进的微表达式识别的双流深度学习模型,通过融合多层次的时空特征来提高准确性. 这种新方法显著提高了用于情绪计算的微妙面部线索检测的性能.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 情感计算是一种情感计算.
背景情况:
- 微表情是短暂的,非自愿的面部动作,揭示了真实的情绪,由于持续时间短,强度低,造成识别挑战.
- 现有的深度学习方法,特别是基于视觉转换器的方法,在双流架构中面临着计算效率低下和有限的细粒度特征捕获问题.
研究的目的:
- 为增强微表达式识别,在双流架构中开发一种新的两级时空特征融合方法.
- 解决计算冗余问题,改善微表达式分析中多层次特征的利用.
主要方法:
- 一个修改后的ResNet作为一个空间编码器和一个Swin变压器作为一个时间编码器,形成了双流架构.
- 一个新的特征融合算法集成了来自两个流的多层次特征,并补充了时间聚合的加权平均运算符.
主要成果:
- 拟议的方法在F1得分和未加权平均回忆 (UAR) 中取得了大约4%的改善.
- 在CASME II数据集上实现了超过0.905的UAR,在现有方法中表现出优越的性能.
- 对SMIC-HS,CASME II和SAMM数据集的评估证实了该方法的有效性.
结论:
- 增强的双流架构与多级特征融合显著提高了微表达式识别精度和计算效率.
- 拟议的方法为情感计算中的自发微表达分析提供了强大而高性能的解决方案.
