使用神经辐射场进行腹腔镜手术导航的新视图合成.
Nati Nawawithan1,2, James Yu1,3, Kelden Pruitt1,2
1Center for Imaging and Surgical Innovation, University of Texas at Dallas, Richardson, TX.
概括
这项研究通过生成合成数据来增强腹腔镜手术可视化,改进了对SLAM等计算机视觉算法的训练. 这推动了自主手术导航系统的发展.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 手术技术 手术技术
背景情况:
- 腹腔镜手术提供了微创的好处,但为外科医生带来了有限的可视化挑战.
- 当前的外科导航系统旨在增强可视化,经常整合计算机算法以提高效率.
研究的目的:
- 以新的视图,深度和摄像头姿势来增强现有的腹腔镜图像数据集.
- 为培训和评估基于学习的计算机视觉算法为外科导航提供基础.
主要方法:
- 使用NeRF-SLAM算法从现有的腹腔镜猪组织图像中生成了新的视图和深度信息.
- 转换相机姿势以创建合成RGB和深度图像.
- 使用光学追踪系统进行初始摄像头姿势捕捉.
主要成果:
- 生成的合成RGB图像实现了高峰信号噪声比 (PSNR) 在29.17-29.79dB之间.
- 结构相似度指数测量 (SSIM) 值在0.6061-0.6174之间,表明图像保真度很好.
- 学习感知图像补丁相似性 (LPIPS) 值在0.568-0.592之间,表明感知现实主义.
结论:
- NeRF-SLAM算法成功重建了组织表面,并生成了现实的合成腹腔镜数据.
- 合成数据集对于训练和评估计算机视觉算法,特别是同时定位和映射 (SLAM) 和视觉测距非常有价值.
- 这项工作通过提供必要的培训数据来支持基于学习的自主外科导航系统的开发.
