自信意识的自我监督学习,用于动态腹腔镜场景中的密集单眼深度估计
Yasuhide Hirohata1, Maina Sogabe2, Tetsuro Miyazaki1
1The Department of Information Physics and Computing, The University of Tokyo, Tokyo, 113-8656, Japan.
Scientific reports
|September 16, 2023
概括
这项研究引入了一个新的框架,用于从单个腹腔镜图像中准确地估计深度,克服手术烟雾和出血等挑战. 该方法在各种不同的手术场景中实现了强大的性能.
科学领域:
- 医学成像医学成像
- 计算机视觉 计算机视觉 计算机视觉
- 手术技术手术技术的使用
背景情况:
- 从单眼腹腔镜图像进行准确的深度估计对于外科导航至关重要,但受到动态环境和不可靠的地面真相的阻碍.
- 诸如出血,烟雾和仪器封闭等因素引入噪音和异常值,使基于机器学习的深度估计变得复杂.
研究的目的:
- 开发一个强大的模型学习框架,用于在动态的手术环境中精确的单眼深度估计.
- 为了应对腹腔镜外科视频中噪音和数据不一致的挑战.
主要方法:
- 一个新的框架,利用通用腹腔镜手术视频数据集进行培训.
- 将双眼差异信心作为自我监督信号与立体腹腔镜差异相结合.
- 一个独特的损失函数,根据信心,自适应权衡深度数据,减轻组织变形,烟雾和仪器的异常影响.
主要成果:
- 该模型在Hamlyn数据集和静态数据集上展示了卓越的概括性能.
- 拟议的方法在各种场景动态,腹腔镜类型和手术场所证明有效.
- 尽管在外科环境中存在大量噪音和异常值,但仍取得了强大的学习效果.
结论:
- 开发的框架为腹腔镜手术的单眼深度估计提供了显著的进步.
- 自主监督方法和适应性损失功能使在具有挑战性的外科条件下能够实现强大而准确的深度感知.
