双边关系蒸为弱监督的时间行动局部化

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 弱监督时间动作定位 (WSTAL) 使用视频级标签来检测未修剪的视频中的动作间隔.
• 现有的WSTAL模型通常会产生不准确和不完整的本地化,因为它们专注于主导细分市场.

研究的目的:

• 提出一种新的方法,即双边关系蒸 (BRD),用于改进WSTAL.
• 通过增强关系建模来解决当前WSTAL模型的局限性.

主要方法:

• 在类别和序列层面上,BRD共同建模关系.
• 类别级别的关系是通过从预训练的语言模型中提取知识,使用相关性对齐和类别意识对比来捕获的.
• 序列级关系是使用基于梯度的特征增强方法来建模的,以实现表示一致性.

主要成果:

• 拟议的BRD方法实现了最先进的性能.
• 在THUMOS14和ActivityNet1.3数据集上进行了实验.

结论:

• 双边关系蒸 (BRD) 有效地改善了弱监督的时间动作定位.
• 联合建模类别和序列关系对于视频中准确的动作本地化至关重要.