自主监督的基于网络的烟雾清除和深度估计单眼内镜视频

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 手术技术 手术技术

背景情况:

• 在单眼腹腔镜视频中准确的深度估计对于微创手术至关重要,但受到烟雾的阻碍.
• 现有的方法往往需要手册标签或患者特定数据,限制了它们的适用性.

研究的目的:

• 开发一种无标签,自我监督的方法,用于单眼内镜深度估计,有效地去除烟雾.
• 在具有挑战性的外科环境中提高深度估计的准确性和实时性能.

主要方法:

• 一个两步的方法:使用循环GAN (DS-cGAN) 与发电机网络 (SGEM,RDBM,RUCM) 进行脱内镜烟雾清除,然后使用高分辨率残留U-Net (HRR-UNet) 进行深度估计.
• HRR-UNet包含一个DepthNet和两个PoseNets,利用相邻的来进行相机自动运动估计.
• 该方法是自我监督的,不需要手动标记或CT扫描.

主要成果:

• 提出的方法有效地去除烟雾,同时保留关键的手术部位细节,如血管,轮和纹理.
• 在现实手术场景中获得准确的深度信息,超过了最先进的方法.
• 通过94.45fps的率证明了实时性能.

结论:

• 开发的自主监督的,除烟深度估计方法提供了一个有前途的解决方案,以提高手术导航在最少的侵入性手术.
• 它的无标签性质和实时能力使其适合临床应用.