神经辐射场用于单眼胃镜中的新视图合成

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 计算几何学的计算几何学

背景情况:

• 传统的3D重建用于胃镜中新的视角合成通常会产生不完整的或杂的结果,这是由于低质感和非兰伯特的胃区域.
• 现有的方法在视图稀疏性方面扎,限制了用于诊断目的染图像的质量.

研究的目的:

• 应用神经辐射场 (NeRF) 来合成高保真度,从胃内的新视角摄取光现实图像,使用单眼胃镜数据.
• 通过整合预先重建的点云的几何先验来提高NeRF在稀疏单眼胃镜中的性能.

主要方法:

• 利用神经辐射场 (NeRF) 来从单眼内镜图像中进行新的视角图像合成.
• 从预先重建的点云中整合了几何先验到NeRF培训中.
• 引入了一种新的基于几何的损失函数,适用于观察和生成的视图.

主要成果:

• 从胃内的新视角实现高保真图像染.
• 与其他近期的NeRF方法相比,具有卓越的质量和数量表现.
• 成功地解决了单眼胃镜中视图稀疏性引起的性能恶化.

结论:

• 拟议的基于NeRF的方法与几何先验有效地从单眼胃镜数据中合成现实的新视角图像.
• 该方法克服了在具有挑战性的内镜环境中传统3D重建技术的局限性.
• 通过增强的3D可视化和图像染,为胃诊断提供了有希望的进步.