SG-3DGS:用于单眼内镜视频场景重建的顺序增长的3D高斯斯裂纹

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 三维重建的3D重建

背景情况:

• 手术内镜图像分析至关重要,但受到狭窄空间和有限可见性的挑战.
• 传统的3D重建方法与内镜环境的独特限制作斗争.

研究的目的:

• 为高质量的内镜场景重建开发一种新的动态3D高斯斯喷涂架构.
• 在内镜视频分析中克服狭窄空间和受阻视图的局限性.
• 为了实现3D模型的构建,没有预先计算的摄像头姿势或运动结构 (SfM).

主要方法:

• 使用密集特征匹配和深度预测为框架间空间关联设计的2D-3D位移场.
• 开发了位移场变化优化,通过最小化场变换能量来获得相对姿势.
• 通过顺序转换和梯度优化为本地高斯模型增长提出了一个顺序高斯增长模块.
• 引入了前向重建和后向优化架构,用于全球高斯模型生成.

主要成果:

• 拟议的方法显著优于对 Scared 和 C3VD 内镜数据集的最先进技术.
• 在包括PSNR,SSIM,LPIPS,ATE,RMSE和MAE在内的指标中取得了卓越的定量结果.
• 定性比较证实了新型3D重建方法的有效性和稳定性.

结论:

• 动态增长的3D高斯喷涂架构有效地重建单眼内镜视频场景.
• 该方法解决了内镜成像的主要挑战,增强了其应用和分析.
• 这项工作为复杂的外科环境中的3D建模提供了强大的解决方案.