使用镜头设计软件和现实世界捕获的神经辐射场进行3D光场显示的正视元件图像合成

科学领域:

• 计算机视觉 计算机视觉
• 三维重建的3D重建
• 整体成像是一种完整的成像技术.

背景情况:

• 传统的整体成像 (InIm) 在复杂的3D场景重建中与伪镜效应 (深度反转) 斗争.
• 神经辐射场 (NeRF) 提供了一种代表3D场景的新方式,包括透明度和反射等复杂元素.

研究的目的:

• 为复杂的现实世界场景开发一种新方法来生成未扭曲的正视元件图像 (EIs).
• 为了避免传统的InIm技术固有的深度反转和扭曲问题.

主要方法:

• 利用通过Nerfstudio API生成的自定义神经辐射场 (NeRF) 模型.
• 开发了一种工作流程,包括射线追踪镜头设计软件和用于NeRF数据提取的新映射方法.
• 实施了基于成像的整体3D光场显示 (LFD) 原型,用于实验验证.

主要成果:

• 从定制的NeRF模型成功生成了未经扭曲的正视元件图像 (EI).
• 使用基于InIm的LFD原型进行实验性3D重建,证明了复杂的现实场景的准确染.
• 提出的方法有效地避免了伪镜效应和深度反转.

结论:

• 这种基于NeRF的新方法提供了一种有效的解决方案,用于生成高质量,不扭曲的3D重建,用于整体成像应用.
• 这种方法促进了复杂的3D场景数据的管理和染,克服了传统技术的局限性.