显式运动处理和交互式提示,用于视频伪装物体检测.

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 伪装在检测静态物体方面存在重大挑战,因为它们与背景无融合.
• 目标的移动会破坏伪装,但现有的视频伪装物体检测 (VCOD) 方法在动态场景中与噪音运动估计或隐式运动建模作斗争.

研究的目的:

• 为VCOD提出一种新的显式动作处理和交互式提示 (EMIP) 框架,该框架明确利用动作线索.
• 通过整合细分和运动估计流来提高复杂动态场景中的VCOD性能.

主要方法:

• 采用双流架构,同时进行伪装细分和光流估计.
• 互动提示,以视觉提示学习为灵感,通过可学习的"伪装料"和"运动收集器"模块来促进跨流交互.
• 自主监督学习用于训练运动流,并将长期历史信息纳入作为时间一致性的提示.

主要成果:

• EMIP框架及其长期变体 (EMIP${}^{\ dagger }$) 在流行的VCOD基准上建立了新的最先进的结果.
• EMIP${}^{\ dagger }$显示,只有850万个可训练参数,培训成本降低.
• 与其他视频细分模型相比,比较评估显示出优越的稳定性和概括能力.

结论:

• 通过明确处理运动线索,EMIP有效地解决了现有的VCOD方法的局限性.
• 拟议的框架为视频伪装物体检测提供了更好的准确性,稳定性和通用性.
• 这种方法在计算上是高效的,特别是长期变体,这使得它适用于现实世界的应用.