基于多平面的交叉视图交互机制,用于强大的光场角超分辨率

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 计算机图形 计算机图形

背景情况:

• 对于虚拟现实等应用来说,光场 (LF) 密集采样至关重要,但成本昂贵.
• 从稀疏的LF数据 (LF角超分辨率或LFASR) 中合成新的视图是一种有效的解决方案.
• 现有的LFASR方法由于交叉视图交互效率低下,因此难以重建质量.

研究的目的:

• 为强大的LFASR提出一个新的基于多平面的交叉视图交互机制 (MCIM).
• 提高LFASR交叉视图交互的准确性和效率.
• 增强网络对场景几何形状的稳定性和适用于不同基线LF场景的适用性.

主要方法:

• 开发了一个多平面特征融合 (MPFF) 策略,灵感来自多平面图像 (MPI).
• 实施了利用MPI透明度来管理信息冗余的飞机选择策略.
• 设计了CSTNet,一个基于十字形变压器的网络,利用十字形自我注意力来实现高效的LFASR.

主要成果:

• 与最先进的方法相比,建议的MCIM方法显示出优越的视觉和定量性能.
• MPFF促进了快速准确的交叉视图交互,提高了稳定性.
• 实验结果验证了在合成和现实世界LF场景上最先进的性能.

结论:

• 通过有效的交叉视图交互,MCIM方法显著增强了LFASR.
• 集成MCIM的CSTNet从稀疏的LF数据中实现了高质量的新视图合成.
• 该方法适用于各种LF场景,并提供低成本的培训和推理.