粗和细粒度聚变层次网络用于填充洞的视图合成

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 计算机图形 计算机图形

背景情况:

• 基于图像的深度染 (DIBR) 对自由视角视频 (FVV) 至关重要.
• 由于参考视图中被封闭的区域,合成视图中出现了洞器件.
• 现有的DIBR方法与前景遮蔽引起的不规则孔扎.

研究的目的:

• 为DIBR产生的FVV提供一个新型网络,以有效地填充DIBR产生的FVV的孔.
• 为了应对前景透造成的不规则洞的挑战.
• 为了提高合成虚拟视图的质量和真实性.

主要方法:

• 建议建立一个粗和细粒度聚变层次网络 (CFFHNet).
• 循环计算捕捉空间上下文相关性.
• 层次结构和注意力机制指导跨度特征融合.
• 一个两个阶段的框架与推断和精细化子网络优化了纹理生成.

主要成果:

• CFFHNet成功地填补了合成视图中的不规则漏洞.
• 该网络利用空间上下文相关性来填补洞.
• 拟议的方法显示出优于最先进的DIBR技术的优势.
• 使用产生不规则洞的训练增强了对前景透的强度.

结论:

• CFFHNet为DIBR的孔填充提供了一个强大而有效的解决方案.
• 该方法显著提高了自由视角视频的视觉质量.
• 拟议的方法推进了虚拟视图合成领域.