用面部动作线索识别人类行动的双流方法
Zhimao Lai1, Yan Zhang2, Xiubo Liang2
1School of Immigration Administration (Guangzhou), China People's Police University, Guangzhou 510663, China.
Sensors (Basel, Switzerland)
|November 9, 2024
概括
面对面行动 (FIA) 提高了使用面部线索的人类行动识别,在封闭的场景中表现优于其他方法. 这种新的方法对于监视和医疗保健应用非常有价值.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 生物医学工程 生物医学工程
背景情况:
- 人类行动识别 (HAR) 对于监测和医疗保健至关重要.
- 现有的HAR方法在阻塞问题上扎,往往错过了重要的行动线索.
- 面部信息仍然是可见的和有信息的,即使身体被遮住.
研究的目的:
- 引入Face in Action (FIA),一种新的双流方法,用于在遮蔽下进行强大的动作识别.
- 为了利用面部动作线索,在具有挑战性的现实场景中提高准确性.
- 提高HAR在监测和医疗监测中的有效性.
主要方法:
- 开发了一种双流方法:一个RGB流和一个面部地标流.
- 使用精细空间多时 (FSM) 3D卷积进行详细的面部运动分析.
- 在NTA-GCN块中使用正常化的时间注意 (NTA) 模块进行里程碑序列处理.
主要成果:
- 在高度封闭的场景中,FIA在现有方法中显示出显著的性能改进.
- FSM模块有效地捕捉到复杂的局部面部运动.
- NTA-GCN 块提高了关键面部框架的识别和整体准确性.
结论:
- FIA为人类行动识别提供了强大的解决方案,特别是在面临重大阻塞时.
- 该方法依赖于面部线索,使其适合于监视和医疗保健中的实际应用.
- FIA通过提供更具弹性的HAR系统,推动了计算机视觉领域的发展.
