一种时间学习方法来描绘内镜特异性及其对图像对应性的影响
Rema Daher1, Francisco Vasconcelos1, Danail Stoyanov1
1Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London, Gower Street, London, WC1E 6BT, UK.
Medical image analysis
|October 9, 2023
概括
这项研究使用机器学习方法从内镜视频中删除了反光亮点. 该方法改善了解剖学可视化,并提高了微创手术中下游计算机视觉任务.
科学领域:
- 医学图像分析 医学图像分析
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 内镜视频对于微创手术和诊断至关重要.
- 视频中的特殊亮点阻碍了对诸如病变检测和3D建模等任务的准确分析.
- 由于不规则的照明,现有的方法难以进行不可靠的特征检测.
研究的目的:
- 开发一种机器学习方法,用于从内镜视频中去除镜面亮点.
- 为了提高隐藏的解剖学隐藏的可见性.
- 为了提高手术视频分析中的计算机视觉任务的性能.
主要方法:
- 一个时间生成对抗网络 (GAN) 用于无监督的镜像亮点 inpainting.
- 通过使用邻近的空间和时间信息,GAN推断出隐藏的解剖外观.
- 该方法利用胃内镜 (Hyper Kvasir) 的体内数据.
主要成果:
- 与现有方法相比,观察到显著的改善.
- 废弃性研究证实了时间和转移学习组件的重要性.
- 该方法在不同的外科设置和数据 (胃内镜,活体猪数据) 中证明了可通用性.
- 量化了对3D重建和摄像机运动估计任务 (立体声差异,光流,特征匹配) 的积极影响.
结论:
- 拟议的方法有效地消除了内镜视频中的状亮点.
- 镜面涂料增强了解剖学可视化和下游计算机视觉应用在手术.
- 该方法为改善外科视频分析和相关任务提供了强大的解决方案.
