来自一个图像的手术神经辐射场
Alberto Neri1,2,3, Maximilan Fehrentz4,5, Veronica Penza6
1Biomedical Robotics Lab, Advanced Robotics, Istituto Italiano di Tecnologia, Genoa, Italy. alberto.neri@iit.it.
概括
这项研究引入了一种用于在外科手术中训练单图像神经辐射场 (NeRF) 的新方法. 它从有限的手术内数据中实现快速,准确的3D重建,克服了传统的多视图限制.
科学领域:
- 计算机视觉 计算机视觉
- 医疗成像医学成像
- 手术技术 手术技术
背景情况:
- 神经辐射场 (NeRF) 在3D重建方面表现出色,但需要大量的多视图数据,限制了它们在手术内外科手术中的使用.
- 有限的手术内数据可用性对手术中的传统NeRF应用构成了重大挑战.
研究的目的:
- 开发一种有效的NeRF培训方法,用于使用单一的手术内图像和手术前数据进行手术.
- 克服传统NeRF的数据局限性,通过允许以最小的外科视角进行培训.
主要方法:
- 利用手术前的MRI数据来确定NeRF培训的摄像头视角和图像.
- 采用神经风格传输 (WTC2和STROTSS) 来适应手术期间的图像外观与预先构建的数据集,防止过度风格化.
- 创建一个数据集,用于快速,单图像的NeRF培训.
主要成果:
- 该方法在四个临床神经外科病例中得到了验证.
- 定量分析显示,与在真实手术图像上训练的NeRF模型相比,高合成协议和重建保真度.
- 高结构相似度指标证实了出色的重建质量和对地面真相的纹理保存.
结论:
- 提出的方法成功地证明了在外科环境中单图像NeRF培训的可行性.
- 这种方法消除了对大型多视图数据集的需求,为实时3D手术重建提供了更快,更具适应性的解决方案.
- 该技术在实时手术场景中提供准确的3D重建.
