在单眼结肠镜中通过摄像机内在学导学习进行规模一致的3D重建

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 胃肠病学 胃肠病学

背景情况:

• 对结肠膜的精确3D空间理解对于结肠镜质量评估至关重要.
• 单眼结肠镜缺乏深度传感器,阻碍了精确的尺度一致的深度和摄像机运动恢复.
• 现有的方法在从单眼内镜视频中实现稳定而准确的3D重建方面面临挑战.

研究的目的:

• 在单眼结肠镜中开发一个新的尺度一致的3D重建框架.
• 使用无传感器方法恢复准确的深度和摄像机运动.
• 改进结肠镜检查过程中的几何感知分析和质量评估.

主要方法:

• 一个两步培训策略,涉及预训练深度估计网络的合成数据与自适应深度调整模块.
• 使用内在引导的尺度对齐模块将合成摄像头的深度预测转换为伪深度标签.
• 采用联合深度姿势学习,具有几何意识的3D损失和全球一致的推理优化策略.

主要成果:

• 在C3VD数据集上实现了最先进的深度和准确性,显著超过现有的基线.
• 从临床视频中证明了从解剖学上可信的结肠光层几何重建,表明稳定和可解释的尺度恢复.
• 与最强的基线相比,AbsRel降低了16.1%,轨迹APE降低了86.7%.

结论:

• 拟议的框架为单眼结肠镜中尺度一致的3D重建提供了一个无传感器解决方案.
• 通过提供准确的深度和摄像机运动,使可靠的几何意识分析和质量评估成为可能.
• 促进了从内镜手术中改善下游分析和对结肠解剖学的理解.