MCMNET:时间动作检测的多尺度上下文建模网络
Haiping Zhang1,2, Fuxing Zhou3, Conghao Ma3
1School of Computer Science, Hangzhou Dianzi University, Hangzhou 310018, China.
Sensors (Basel, Switzerland)
|September 9, 2023
概括
本研究引入了一个双流模型来检测时间动作,有效地处理不同持续时间的动作. 该模型捕获了多层次的时间信息,改善了视频中的动作本地化和分类.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 在视频理解中检测时间动作是具有挑战性的,特别是在不同持续时间和复杂时间关系的动作中.
- 现有的方法很难捕获丰富的时间分布,这对于准确分析这些视频是必要的.
研究的目的:
- 提出一种新的时间动作检测双流模型,有效地在多个时间尺度上建模上下文信息.
- 增强捕获多尺度时间信息和远程和短程环境,以改善视频理解.
主要方法:
- 建议采用双流模式,将输入视频分为两个分辨率流.
- 一个多分辨率上下文聚合模块捕获多个尺度的时间信息.
- 一个信息增强模块模拟了长距离和短距离的环境,并将输出合并为丰富的时间特征.
主要成果:
- 在ActivityNet-v1.3,Charades和TSU (Toyota Smarthome Untrimmed) 数据集上进行了实验.
- 该模型在ActivityNet-v1.3.3上实现了32.83%的平均mAP.
- 这种方法在Charades的平均mAP为27.3%,在TSU的平均mAP为33.1%.
结论:
- 拟议的双流模型有效地解决了时间动作检测的复杂性,特别是对于具有可变动作持续时间的视频.
- 多分辨率上下文聚合和信息增强模块的整合导致了丰富的时间信息的功能.
- 该模型在多个基准数据集中表现出强的性能,表明其对高级视频理解应用的潜力.
