自我监督的视频伪装物体检测和突出的物体检测
Haoke Xiao1, Lv Tang2, Bo Li3
1vivo Mobile Communication Co., Ltd, Shanghai, China; Institute of Artificial Intelligence, Xiamen University, Xiamen, 361100, China.
概括
这项研究引入了一种新的自我监督的方法,用于视频伪装/物体检测 (VCOD/VSOD). 这种方法有效地解开了运动和上下文信息,超过了现有的无监督技术.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 像VCOD/VSOD这样的视频任务在多媒体中至关重要.
- 现有的方法很难有效地利用运动和上下文信息.
- 运动和上下文之间的偏差可以限制当前模型的性能.
研究的目的:
- 为处理VCOD/VSOD中的动作和上下文信息提出一个新的脱而出的视角.
- 开发一种自我监督的方法来降低注释成本.
- 通过利用分离的信息来提高VCOD/VSOD任务的性能.
主要方法:
- 一个新的模型使用ContextNet和MotionNet单独处理运动和上下文信息.
- 一个自我监督的自适应路由机制将分配给ContextNet或MotionNet.
- 交叉监督用于以自我监督的方式训练细分网络.
主要成果:
- 提出的自我监督的脱模型实现了卓越的性能.
- 在VCOD和VSOD数据集上始终优于最先进的无监督方法.
- 证明了解开运动和上下文信息的有效性.
结论:
- 解的视角为VCOD/VSOD任务提供了一个有希望的方向.
- 自主监督学习显著减少了注释要求.
- 拟议的方法为无监督的VCOD/VSOD设定了一个新的基准.
