无监督的时间对应学习,用于统一的视频对象移除
概括
本研究介绍了统一的视频对象移除,将面具跟踪和完成整合到一个框架中. 这种新的方法可以实现无监督,端到端的学习,以实现更高效,更令人愉快的视频物体移除.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 删除视频对象对于编辑和内容创建至关重要.
- 当前的方法往往将面具跟踪和视频完成分开,导致复杂的管道.
- 现有的方法需要为每个子任务设计单独的,量身定制的设计.
研究的目的:
- 提出一个统一的框架来移除视频对象,整合面具跟踪和完成.
- 为了利用这些子任务之间的固有的像素级时间对应.
- 开发一个端到端,无监督的学习方法,用于删除视频对象.
主要方法:
- 建议使用一个单一的网络来推断跨多个的时间对应.
- 网络链接掩护跟踪 (有效-有效的像素对) 和视频完成 (有效-漏洞的像素对).
- 统一的框架允许端到端,无监督的学习,没有注释.
主要成果:
- 拟议的方法在删除视频对象时产生了视觉上令人愉快的结果.
- 统一的方法在与现有的单独解决方案相比表现良好.
- 在现实的测试案例中证明有效性.
结论:
- 统一的视频对象移除提供了一个更集成和潜在的高效解决方案.
- 在单一框架内利用时间对应性可以提高性能.
- 无监督,端到端的方法简化了部署,并扩大了适用性.
