时间差距意识注意力模型用于时间行动提案生成
Sorn Sooksatra1, Sitapa Watcharapinchai1
1National Electronic and Computer Technology Center, National Science and Technology Development Agency, Khlong Nueng, Khlong Luang District, Pathum Thani 12120, Thailand.
Journal of imaging
|December 27, 2024
概括
本研究引入了一个注意力机制,以改善视频中的时间行动提案生成. 该方法增强了连续行动的细分,在边界定位方面实现了更高的准确性.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 临时行动提案生成旨在从未修剪的视频中提取行动实例.
- 目前的方法在准确细分连续的行动提案,时间差距最小时面临挑战.
研究的目的:
- 增强连续行动建议在未经修剪的视频中进行细分.
- 通过解决时间差距来提高行动边界的定位准确性.
主要方法:
- 整合一个注意力机制,在相连的组中权衡提案的重要性.
- 利用提案之间的差距位移来计算边界定位的注意力得分.
主要成果:
- 短期和连续行动提案的表现显著改善.
- 在ActivityNet v1.3和Thumos 2014数据集上实现了平均78.22%的回忆.
- 超越了基于边界的最先进基线.
结论:
- 提出的注意力机制有效地解决了对连续行动提案进行细分的局限性.
- 这种方法为视频中的时间动作定位提供了更准确的方法.


