神经辐射场用于内镜中的高保真软组织重建
Jinhua Liu1, Yongsheng Shi1, Dongjin Huang1,2
1Shanghai Film Academy, Shanghai University, Shanghai 200072, China.
Sensors (Basel, Switzerland)
|January 25, 2025
概括
这项研究引入了一个新的框架,用于从内镜图像中进行软组织的高保真3D重建. 该方法使用先进的细分和动态场景重建来克服像图像质量差和组织变形等挑战.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 三维重建的3D重建
背景情况:
- 神经辐射场 (NeRFs) 能够实现高质量的3D场景重建.
- 从内镜图像中重建3D软组织是具有挑战性的,因为隐蔽,变形和图像质量低.
- 现有的NeRF方法与内镜软组织成像的特定限制作斗争.
研究的目的:
- 从低质量的内镜图像中开发一种新的高保真度3D重建软组织场景的框架.
- 为了解决目前内镜应用中的NeRFs的局限性.
- 为了提高从内镜数据获得的3D软组织模型的准确性和细节性.
主要方法:
- 构建了用于软组织细分的EndoTissue数据集.
- 微调了细分任何模型 (SAM) 进行强大的组织细分,生成组织面具.
- 在Tensor4D动态场景重建方法中集成组织面具.
- 使用EDAU-Net图像增强模型来提高染视图质量.
主要成果:
- 拟议的框架实际上侧重于内镜图像中的软组织区域.
- 与最先进的算法相比,实现了更高的细节真实性和几何结构完整性.
- 用户研究反表明,参与者对重建质量的满意度很高.
结论:
- 这种新的框架显著提高了从具有挑战性的内镜成像中3D软组织重建的性能.
- 基于SAM的细分和Tensor4D重建的集成克服了关键的局限性.
- 该方法在需要精确3D组织建模的内镜场景中有望改善应用.
