多任务学习与跨任务一致性,以改善结肠镜检查中的深度估计

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 胃肠病学 胃肠病学

背景情况:

• 结肠镜检查对于检测结肠和直肠异常,如和息肉至关重要.
• 准确的结肠3D重建需要精确的深度估计,这是由于可变条件和单眼视频的挑战.
• 现有的计算机视觉深度估计方法对结肠镜数据集没有很好的量化.

研究的目的:

• 开发一种新的多任务学习 (MTL) 方法,用于在结肠镜检查中准确的深度估计.
• 为了改善突出特征的提取,以便更好地理解结肠粘膜的几何结构.
• 在C3VD结肠镜数据集上对最先进的深度估计技术进行比较.

主要方法:

• 一个多任务学习 (MTL) 框架,有一个共享的编码器和两个解码器 (表面正常和深度估计).
• 将注意力机制纳入深度估计器,以提高全球背景意识.
• 使用表面正常预测作为辅助任务,并应用跨任务一致性损失.

主要成果:

• 拟议的MTL方法在最先进的Big-to-Small (BTS) 方法上显示出了显著的改进.
• 实现了相对误差的15.75%改善和 δ1.25精度的10.7%改善.
• 在C3VD结肠镜数据集上提供了当前深度估计方法的第一个基准.

结论:

• 新的MTL方法有效地提高了结肠镜视频中的深度估计准确性.
• 利用诸如表面正常预测之类的辅助任务,增强了用于深度估计的几何特征提取.
• 这项工作为结肠镜中深度估计设定了新的基准,并有助于客观评估疾病负担.