集成原型网络用于弱监督的时间行动定位
IEEE transactions on neural networks and learning systems
|March 26, 2024
概括
本研究介绍了Ensemble原型网络 (EPNet) 用于弱监督的时间动作本地化 (TAL). EPNet通过学习共识原型和重新权重片段以获得更好的准确性来改善视频中的动作识别.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 弱监督的时间动作定位 (TAL) 面临着由于不受约束的背景和多个子动作而导致视频片段准确分类的挑战.
- 现有的基于原型的模型在片段的显著变化中扎,导致错误分类.
- 准确的时间动作定位对于视频分析和理解至关重要.
研究的目的:
- 解决目前在监管较弱的TAL方法中的局限性.
- 为改进片段分类和动作本地化提出一个新的Ensemble原型网络 (EPNet).
- 提高时间动作定位模型对视频数据变化的稳定性.
主要方法:
- 开发了一个集成原型网络 (EPNet),集成共识原型学习 (CPL) 和集成片段权重学习 (ESWL) 模块.
- 实施了多阶段方法,CPL学习共识矩阵来完善原型,ESWL重新权重错误分类的片段.
- 利用共识意识的集群来生成更好地覆盖各种变化的片段的原型.
主要成果:
- 在THUMOS'14,ActivityNet v1.2和ActivityNet v1.3.3基准数据集上,EPNet实现了最先进的性能.
- 与现有的弱监督的TAL技术相比,拟议的方法在分类片段方面表现出更高的准确性.
- 集体学习策略有效地处理了行动实例中的背景和子行动的变化.
结论:
- 在弱监督的时间动作本地化方面,EPNet提供了显著的进步.
- 基于共识的集群和整体权重机制有效地提高了模型的准确性.
- 这项研究提供了一个强大的框架,用于在未经修剪的视频中准确识别动作.
