多重注意力学习和暴露指导向无幽灵的高动态范围光场成像

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 计算机摄影的使用

背景情况:

• 光场 (LF) 图像通常具有较低的动态范围和由于传感器限制而导致的曝光率较低.
• 现有的高动态范围 (HDR) LF成像方法在动态场景中与幽灵文物和抛物线扭曲作斗争.

研究的目的:

• 为动态场景提出一种新的无幽灵HDR LF成像方法.
• 为了提高重建的HDR LF图像的空间角度质量一致性.
• 为了提高下游LF应用程序的性能,例如深度估计.

主要方法:

• 开发了一个多注意力学习框架,并提供了暴露指导.
• 多个尺度的交叉注意力,以实现高效的多次曝光LF特征对齐.
• 双重自我注意力 变压器块用于几何信息提取和特征融合.
• 曝光面具和局部补偿模块指导功能融合和细节精细化.
• 一个多目标重建策略可以恢复高质量的HDR LF图像.

主要成果:

• 拟议的方法有效地抑制了动态场景中的幽灵文物.
• 在HDR LF图像中实现高空间角质量的一致性.
• 在定量和定性评估中表现优于最先进的方法.
• 显示了LF应用程序的性能改进,包括深度估计.

结论:

• 新的无幽灵HDR LF成像方法成功地解决了现有技术的局限性.
• 多重注意力和曝光指导方法产生了卓越的图像重建质量.
• 该方法为在具有挑战性的动态场景中捕获高质量的HDR LF数据提供了强大的解决方案.