通过得分融合和由卷积式LSTM和视觉转换器混合模型增强的面部微表情识别

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 人与计算机的交互

背景情况:

• 面部情绪表达是跨文化普遍存在的,但机器很难解释微妙的,非自愿的微表达.
• 精确的微表达式识别对于先进的人机交互至关重要,使机器能够理解真正的人类情绪,以便更好地做出决策.
• 应用程序包括检测危险情况,提醒护理人员,并实时提供上下文意识的响应.

研究的目的:

• 提出和评估一种新的混合神经网络模型,用于实时微表达式识别.
• 将混合模型的性能与几个单独的神经网络架构进行比较.
• 为了证明结合不同神经网络组件的有效性,以增强微表达式检测.

主要方法:

• 开发了一个混合神经网络模型,集成一个卷积神经网络 (CNN) 进行空间特征提取,一个循环神经网络 (RNN,特别是LSTM) 进行时间总结,以及一个视觉转换器用于稀疏的空间关系捕获.
• 该模型将短视频处理为输入,以识别各种微表情 (快乐,恐惧,愤怒,惊喜,厌恶,悲伤).
• 实验包括对公开可用的微表达式数据集进行培训和测试,使用分数融合技术和分析改进指标.

主要成果:

• 拟议的混合神经网络模型在微表达式识别准确度方面明显优于单个神经网络模型.
• 结果显示,得分融合技术显著提高了混合模型的识别性能.
• 该模型的结果与相同数据集上的文献报告的方法进行了验证,证实了其卓越的有效性.

结论:

• 开发的混合神经网络为实时微表达式识别提供了强大的解决方案,推进了人机交互的能力.
• 将CNN,LSTM和Vision Transformer架构与分数融合相结合,为捕捉面部表情的空间和时间动态提供了一个强大的方法.
• 这项研究为更具情感智能的机器铺平了道路,这些机器能够对人类情感状态有细微的理解.