MCD-Net:在现实世界的场景中向RGB-D视频绘制迈进

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 多媒体处理处理.

背景情况:

• 对于智能视频编辑而言,RGB-D视频彩绘至关重要,但由于模式差距,当前的方法与真实世界的数据进行斗争.
• 现有的数据集往往是合成的,缺乏对强大的模型评估所需的多样性.

研究的目的:

• 开发一种有效的RGB-D视频彩绘方法,克服颜色和深度信息之间的模式差距.
• 创建一个现实的数据集,以全面评估RGB-D视频染色模型.

主要方法:

• 提出一个相互引导的色彩和深度绘制网络 (MCD-Net),隐式地利用跨模式信息.
• 介绍视频绘画与深度 (VID) 数据集,包括多样化,真实的RGB-D视频和注释面具.

主要成果:

• 在基准指标上,MCD-Net展示了最先进的定量表现.
• 该方法在现实场景中成功实现了高质量的RGB-D视频绘制.

结论:

• 拟议的MCD-Net有效地解决了RGB-D视频 inpainting中的模式差距.
• 在VID数据集允许更可靠和全面的评估的inpainting模型的现实世界的应用.