适应性聚合与双阶段融合用于基于骨架的动作识别
Cong Wu1, Xiao-Jun Wu2, Tianyang Xu2
1School of Artificial Intelligence and Computer Science, Jiangnan University, 214122, China; Postdoctoral Research Station in Design, Jiangnan University, 214122, China.
概括
本研究引入了一个改进的图形聚合网络 (IGPN),用于基于骨架的动作识别,解决骨架数据中的聚合局限性. 通过采用区域意识的聚合和双阶段的融合策略,IGPN提高了准确性和效率.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 基于骨架的动作识别由于独特的骨架结构而面临现有聚合策略的挑战.
- 高数据紧性和骨架数据的低冗余性增加了准确性降低的风险从信息丢失在聚合过程中.
研究的目的:
- 提出一个改进的图形聚合网络 (IGPN),以克服聚合在基于骨架的动作识别中的局限性.
- 为了提高从骨架数据中提取特征的有效性和效率.
主要方法:
- 引入了一个区域意识聚合策略,利用结构分区和适应性信息权重.
- 实施了双阶段的融合策略 (交叉融合和信息补充模块),以防止歧视性信息丢失.
- 开发了IGPN-Light (以效率为重点) 和IGPN-Heavy (以准确性为重点) 作为现有图形网络的插入式模块.
主要成果:
- 在NTU-RGB+D 60数据集上,IGPN-Light实现了显著的准确性改进,同时在NTU-RGB+D 60数据集上减少了60-70%的FLOP.
- 通过优先考虑准确性,IGPN-Heavy进一步提高了性能.
- 在多个具有挑战性的基准标准中表现出有效性.
结论:
- 拟议的IGPN有效地解决了基于骨架的行动认可的挑战.
- 区域意识聚合和双阶段融合策略增强了特征表示,并保护了关键信息.
- IGPN提供灵活的解决方案 (IGPN-轻型和IGPN-重型),可适应不同的性能要求.


