深度调节的3D高斯裂纹用于在特征稀缺的环境中进行强大的内镜重建

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 几何建模 几何建模

背景情况:

• 内镜中的3D重建对于诊断,手术规划和培训至关重要.
• 现有的方法,如神经辐射场和3D高斯喷射 (3DGS),由于视角狭窄和质感均,在胃肠 (GI) 环境中面临限制.
• 在肠道内镜中可靠的3D建模仍然是一个重大挑战.

研究的目的:

• 开发一种基于3DGS的高级框架,用于内镜肠道成像中的强大的3D重建.
• 在具有挑战性的地理标志性环境中克服现有方法的局限性.
• 通过增强的3D建模,提高诊断准确度,外科规划和培训.

主要方法:

• 基于深度学习的SfM技术与3DGS的集成.
• 使用超点和超来进行强大的特征提取,并在胃肠道场景中进行匹配,以准确地估计相机姿势.
• 通过将单眼深度预测 (Depth-Anything-V2) 与使用L1损失的SfM衍生深度对齐来改进重建.
• 实施硬深度规范化 (Huber损失) 和全局局部深度规范化,以获得精确的高斯定位和结构一致性.

主要成果:

• 拟议的框架证明了内镜成像中的显著增强的3D重建质量.
• 与标准方法相比,观察到较少的文物.
• 该方法在具有挑战性的GI环境中被证明是有效的,改善了摄像头姿势估计和3D高斯初始化.
• 深度调整和规则化技术确保了精确的重建和保存细节.

结论:

• 先进的3DGS框架有效地解决了GI内镜中3D重建的挑战.
• 基于深度学习的SfM和复杂的深度规范化的集成导致了优越的重建质量.
• 这种方法有望改善依赖于精确内镜3D模型的临床应用.