基于神经辐射场的机器人辅助微创手术中的动态表面重建
Xinan Sun1,2, Feng Wang1, Zhikang Ma1
1School of Mechanical Engineering, Tianjin University, 135 Yaguan Road, Jinnan District, Tianjin, 300350, China.
International journal of computer assisted radiology and surgery
|September 28, 2023
概括
本研究引入了一个新的深度估计网络和神经辐射场框架,以改善外科场景感知和动态场景重建,以实现更好的外科自动化和AR导航.
科学领域:
- 计算机视觉 计算机视觉
- 医疗成像医学成像
- 机器人技术 机器人技术 机器人技术
背景情况:
- 手术场景的感知对于任务自动化和AR导航至关重要.
- 重建高度动态的手术场景带来了重大挑战.
- 现有的方法在复杂的外科环境中难以准确和变形.
研究的目的:
- 通过开发一个新的深度估计网络来增强手术场景的感知.
- 使用神经辐射场,为动态手术场景创建一个强大的重建框架.
- 为手术任务自动化和增强现实 (AR) 导航提供更准确的场景信息.
主要方法:
- 实施了一个深度估计网络,其中包含空间金字塔聚合和Swin-Transformer模块,以提高稳定性.
- 整合了最佳运输匹配约束来提高深度准确性.
- 利用神经辐射场在时间维度中隐含场景表示,优化深度和颜色信息以防止变形扭曲.
主要成果:
- 深度估计网络在自然图像上实现了近乎最先进的 (SOTA) 性能,并在医疗图像上超过了SOTA (1.12%在3 px错误中,0.45 pxEPE).
- 动态重建框架成功地从内镜视频中重建了心脏表面,达到SOTA指标 (27.983 dB PSNR,0.812 SSIM,0.189 LPIPS).
- 实验验证了KITTI,SCARED和真实外科手术数据集的性能.
结论:
- 拟议的深度估计网络和重建框架显著提高了手术场景的感知.
- 与医疗数据集上的SOTA方法相比,该框架产生了更准确的深度地图,边缘更清晰.
- 该框架已在动态心脏外科图像上成功验证,未来的工作重点是训练速度和视野限制.
