基础模型引导的高斯裂纹用于可变形组织的4D重建

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 手术技术 手术技术

背景情况:

• 从内镜视频中重建可变形的解剖结构对于先进的外科应用至关重要.
• 现有的神经辐射场方法的染速度很慢,限制了现实世界的可行性.
• 需要高效和高保真的方法来进行手术后的外科创伤场景重建.

研究的目的:

• 开发一种新的框架,EndoGaussian,用于从内镜视频中高准确度和实时重建可变形解剖结构.
• 为了克服现有方法的染速度限制.
• 为了提高手术场景重建的临床应用的实际可行性.

主要方法:

• EndoGaussian 集成了 3D Gaussian Splatting,以提供高效的训练和实时染.
• 一个基础模型驱动的初始化 (FMI) 模块使用视觉基础模型 (VFMs) 来快速构建场景结构.
• 时空高斯追踪 (SGT) 与多尺度六平面和运动感知合成 (MFS) 模拟场景动态并处理大变形.

主要成果:

• 在EndoGaussian中,可以实现更高的染速度 (168 FPS) 和更高的染质量 (38.555 PSNR).
• 该框架表明,培训开销减少 (每场景2分钟内).
• 实验结果显示,与公共数据集上的最先进方法相比,实验结果具有显著的有效性.

结论:

• EndoGaussian提供了一种高保真,高效,实时的解决方案,用于从内镜视频中重建可变形的解剖结构.
• 该框架有可能显著推进手术内外科手术应用,从而实现准确的实时手术指导.
• 这项研究为改善手术场景中的临床决策和患者结果铺平了道路.