动态注意力超图 卷积网络用于群组活动识别

科学领域:

• 计算机视觉 计算机视觉
• 视频分析 视频分析
• 人工智能的人工智能

背景情况:

• 群体活动识别 (GAR) 对于理解视频中复杂的人类行为至关重要.
• 现有的GAR模型往往忽视了复杂的,高阶的相互作用,仅专注于对对关系.
• 这种限制限制了它们在现实场景中的实际适用性.

研究的目的:

• 为准确的集团活动识别 (GAR) 开发一个新的框架,以捕捉高级参与者互动.
• 解决当前GAR方法中对对相互作用建模的局限性.
• 提高基于视频的小组活动分析的准确性和稳定性.

主要方法:

• 设计了一个独特的动态注意力超图卷积网络 (DAHGCN) 框架.
• 一个多级特征描述器 (MLFD) 模块被提议用于补充特征学习.
• 在DAHGCN中使用基于相似性的共享近邻 (SSNN) 集群和注意力机制来动态建模超图谱拓和高阶关系.
• 一个多尺度时间卷积 (MSTC) 模块被用来捕捉远程时间动态.

主要成果:

• 拟议的DAHGCN框架在集团活动认可方面表现出卓越的表现.
• 在三个基准数据集上的实验证实了DAHGCN的有效性.
• 该方法在捕捉复杂的群体相互作用方面显著超过了最先进的方法.

结论:

• DAHGCN框架有效地模拟了高阶关系和复杂的群体相互作用,以获得精确的GAR.
• 整合MLFD和MSTC模块可以增强特征表示和时间分析.
• 这项工作通过提供更全面的群体活动识别方法来推进视频分析领域.