基于神经辐射场的多视图内镜场景重建,用于手术模拟.
Zhibao Qin1, Kai Qian2, Shaojun Liang1
1Yunnan Key Laboratory of Opto-electronic Information Technology, Yunnan Normal University, Kunming, 650500, China.
International journal of computer assisted radiology and surgery
|February 27, 2024
概括
我们开发了Endoscope-NeRF以从内镜图像中创建逼真的3D手术场景. 这种方法通过生成高保真度的新视图,显著改善了虚拟手术培训,优于现有技术.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 虚拟现实 虚拟现实 虚拟现实
背景情况:
- 目前来自CT扫描的3D模型对于虚拟手术培训缺乏现实性.
- 现实的内镜场景重建对于外科教育和减少误解至关重要.
研究的目的:
- 使用多视图图像重建现实的内镜场景.
- 为了提高虚拟外科环境的真实性.
主要方法:
- 拟议的内镜-NeRF网络用于隐性辐射场的重建.
- 利用多个MLP和射线变压器网络进行场景表示.
- 使用体积染来合成新的视图,考虑到光源效应.
主要成果:
- 在猪肺,肝脏,脏和心脏数据集上得到验证.
- 在PSNR,SSIM和LPIPS指标中,合成的新视图表现优于NeRF和IBRNet.
- 在产生的内镜场景中表现出卓越的现实主义和准确性.
结论:
- 内镜NeRF有效地学习了可概括的辐射场函数.
- 微调可以为特定的内镜场景进行优化.
- 提供现实的高分辨率图像,用于增强的外科模拟.
