自主监督的单眼深度和姿势估计用于内镜与潜伏的先

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 胃肠病学 胃肠病学

背景情况:

• 在胃肠道 (GI) 内镜中准确的3D重建对于定量病变的表征至关重要.
• 单眼内镜系统面临深度和估计方面的挑战,原因是数据有限和通用性问题.
• 现有的方法往往难以应对胃肠道内复杂的视觉条件.

研究的目的:

• 开发一个强大的自我监督的单眼深度和内镜成像的构成估计框架.
• 在具有挑战性的内镜环境中提高3D重建的准确性和通用性.
• 增强肠道中的病变表征能力.

主要方法:

• 提出了一个框架,集成基于StyleGAN的生成器来实现现实的深度预测,以及用于姿势估计的变异自动编码器 (VAE).
• 利用自然图像深度场景来调节深度网络,通过隐藏特征先验增强预测的稳定性.
• 整合了先前传输模块,将自然场景SLAM系统的运动知识蒸到内镜领域,以改善姿势稳定性.

主要成果:

• 与现有的自我监督方法相比,该框架在内镜深度和体位估计方面表现出卓越的表现.
• 对SimCol,C3VD和EndoSLAM数据集的评估证实了该方法的有效性.
• 实现了准确的深度和姿势预测,解决了复杂的胃肠道纹理和照明.

结论:

• 开发的双精炼管道显著提高了单眼内镜中3D重建的准确性.
• 自主监督框架为消化道的定量病变表征提供了一个强大的解决方案.
• 这种方法在具有挑战性的内镜条件下提高了轨迹的一致性和通用性.