NeRF-OR:神经辐射场用于从稀疏视图RGB-D视频中重建手术室场景

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 机器人技术 机器人技术 机器人技术

背景情况:

• 手术室 (OR) 摄像头提供同步的多视图数据,用于手术场景分析.
• 神经辐射场 (NeRFs) 提供了记忆效率高的3D场景表示.
• 现有的NeRF方法在OR设置中典型的稀疏视图数据中扎.

研究的目的:

• 提出NeRF-OR,一种用于3D重建动态手术场景的新方法.
• 在现实世界OR环境中解决稀疏视图数据采集的挑战.
• 改进下游任务,如物体检测和在手术中构成估计.

主要方法:

• NeRF-OR结合了飞行时间传感器深度和彩色图像的估计深度.
• 深度估计用于减轻反射表面和物体边界的缺失值.
• 监督是使用从估计深度推导的表面正常值来进行的,用于尺度不变.

主要成果:

• NeRF-OR在静态手术场景中实现了几何精确的表示,超越了最先进的方法.
• 该方法证明了30倍更快的训练,并捕获了精细的场景细节.
• NeRF-OR合成中间视频视图,平均PSNR为24.86dB,在非OR稀疏视图设置中显示出希望.

结论:

• NeRF-OR可以从有限的广角摄像头视图中进行新的视图合成,这是OR中常见的.
• 该方法为在具有挑战性的外科环境中进行3D重建提供了可行的解决方案.
• 代码是公开可用的,用于进一步的研究和应用.