一个语义和动作意识的时空变压器网络用于动作检测

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 由于复杂的时空动态,在未经修剪的视频中检测动作是具有挑战性的.
• 现有的方法很难有效地模拟空间和运动特征之间的复杂相互作用.
• 当前的方法往往忽略了视频内的动态时空变化.

研究的目的:

• 提出一个新的时空变压器网络,以改善未经修剪的视频中的动作检测.
• 引入用于建模时空相互作用和时间依赖性的原始组件.
• 提高动作信息的利用,以实现更强大的动作识别.

主要方法:

• 开发了一种多特征的选择性语义注意模型,以关联空间和运动特征.
• 引入了具有2D位置编码的运动感知网络,以捕捉动态变化.
• 设计了一种基于序列的时间注意力模型,以识别视频中的相似性和差异.

主要成果:

• 拟议的网络显著优于对基准数据集的最先进方法.
• 在AVA 2.2,AVA 2.1,UCF101-24和EPIC-Kitchens数据集上表现出卓越的性能.
• 验证了新型注意力机制和运动感知编码的有效性.

结论:

• 新的时空变压器网络在未经修剪的视频动作检测方面取得了重大进展.
• 拟议的组件有效地模拟了复杂的时空关系和时间依赖.
• 该方法为现实世界动作识别任务提供了更强大,更准确的解决方案.