加强单一框架监管,以更好地定位时间行动

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 时间动作本地化识别视频中的动作界限和类别.
• 单监控提供了劳动效率,但在精确的边界注释方面存在困难.
• 现有的方法缺乏可靠的机制,以有效利用有限的注释.

研究的目的:

• 开发一种方法,在单监控下改善时间动作定位性能.
• 为了应对不准确的边界注释在弱监督的行动本地化中的挑战.
• 为了在视频中使用最小的注释来实现高效和准确的动作识别.

主要方法:

• 一种视觉分析方法,使用最重的路径问题对准类似的动作.
• 通过基于动作对齐的二次优化进行注释传播.
• 一个故事情节可视化,用于解释本地化结果,并促进用户更正.
• 基于用户反和更正的本地化的代改进.

主要成果:

• 拟议的方法显著提高了时间动作定位的性能.
• 通过对齐和传播技术,改进了行动边界定位的准确性.
• 故事情节可视化有助于识别和纠正本地化和对齐错误.
• 定量评估和一个案例研究证明了该方法的有效性.

结论:

• 开发的视觉分析方法有效地改善了与单监控的时间动作定位.
• 注释传播和交互式可视化是克服弱监督局限性的关键.
• 这种方法为在视频中精确识别动作提供了一个实用的解决方案,并减少了注释工作.