蒙面动态连续性意识的层次注意网络用于视频中的姿势估计
Kyung-Min Jin1, Gun-Hee Lee2, Woo-Jeoung Nam3
1LG Electronics, 19, Yangjae-daero 11-gil, Seocho-gu, 06772, Seoul, Republic of Korea.
概括
这项研究介绍了面具运动连续性意识层次注意网络 (M-HANet),用于从视频中改进人类姿势估计. 通过整合时空特征和动态连续性,M-HANet提高了阻塞的准确性和弹性.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人类运动分析分析
背景情况:
- 现有的人类姿势估计方法往往与时空问题和遮困难.
- 目前的方法可能会牺牲准确性以获得平滑性,或者需要高分辨率的数据来处理闭塞.
- 闭塞和时间不确定性之间的相互关系导致不平滑的姿势估计结果.
研究的目的:
- 开发一个新的框架,M-HANet,有效地解决时空挑战和人类姿势估计中的封闭问题.
- 为了提高2D和3D人体姿势估计从视频序列的准确性和稳定性.
主要方法:
- 拟议的M-HANet框架扩展了HANet,利用掩盖的动力学关键点特征来实现阻塞弹性.
- 嵌入关键点速度和加速以捕捉时间动态.
- 采用层次变压器编码器,通过聚合时空依赖来完善姿势.
- 实现了编码器和解码器输出之间的在线交叉监控,以实现协作优化.
主要成果:
- 与现有方法相比,M-HANet显示出了显著的改进.
- 在PCK@0.05中增加了14.1%,MPJPE减少了8.7毫米.
- 在2D/3D姿势估计,身体网状恢复和多人姿势估计任务中验证了有效性.
结论:
- M-HANet提供了一个强大而准确的解决方案,用于在具有挑战性的条件下对人体姿势进行估计,包括闭塞.
- 掩盖的关键点特征和动态连续性的整合有效地捕捉了复杂的人类运动动态.
- 拟议的方法在各种人类姿势分析应用中推进了最先进的技术.
