MCCA-VNet:基于面部编码的微表情识别的基于Vit的深度学习方法
Dehao Zhang1,2, Tao Zhang1,2, Haijiang Sun1
1Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China.
Sensors (Basel, Switzerland)
|December 17, 2024
概括
本研究介绍了MCCA-VNET,这是一种用于识别微表达式的新型深度学习模型. 它通过考虑空间关系和融合通道和空间注意力机制来提高准确性,优于现有的方法.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 心理学 心理学 心理学
背景情况:
- 微表达式比宏表达式提供更现实的见解,对心理咨询和临床诊断有价值.
- 现有的深度学习模型,主要使用光流和变压器,经常忽视面部地标之间的空间关系.
研究的目的:
- 提出MCCA-VNET,一个深度学习模型,通过结合空间地标关系来增强微表达式识别.
- 提高微表达式识别的准确性和全面性.
主要方法:
- 开发了基于变压器架构的MCCA-VNET.
- 在视觉转换器中集成了道注意力和空间注意力机制.
- 提取并融合了不断变化的面部特征,强调空间和道相关性.
主要成果:
- 在一个复合数据集 (SAMM,CAS (ME) II,SMIC) 上,UF1得分为0.8676,UAR得分为0.8622.
- 与之前的最先进的算法相比,在多个指标上表现出卓越的性能.
- 通过对基准数据集进行严格的实验测试来验证有效性.
结论:
- MCCA-VNET显著提高了微表达式识别的准确性.
- 该模型的注意力机制和空间特征提取的融合提供了一个强大的方法.
- 提出的方法在微表达式识别任务中实现了最佳的综合性能.


