SurgNet:在手术图像中进行血管和仪器细分的语义一致性的自我监督预训
IEEE transactions on medical imaging
|December 13, 2023
概括
这项研究介绍了SurgNet,这是一种自我监督的方法,用于在医学图像中对血管和手术仪器进行细分. SurgNet有效地从未标记的数据中学习特征,以最小的标记示例实现精确的细分.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
背景情况:
- 精确的血管和手术仪器细分对于机器人辅助的外科导航至关重要.
- 与自然图像细分相比,手术图像细分,特别是血管和仪器,仍然是一个研究不足的领域.
研究的目的:
- 提出一种新的自我监督预训方法,SurgNet,用于从未标记的外科图像中学习代表性特征.
- 为了使用有限的标记数据来实现容器和仪器的精确和高效细分.
主要方法:
- 从未标记的手术图像构建一个区域相邻图 (RAG),用于自我监督的伪面具细分.
- 使用伪面具的引导面具图像建模 (GMIM) 来学习整合结构信息的表示.
- 开发了带有300万个未标记的图像和4000多个标记的图像的手术内血管和仪器细分 (IVIS) 数据集.
主要成果:
- SurgNet有效地从未标记的手术图像中学习血管和仪器特征.
- 预先训练的SurgNet模型,当使用有限的标记数据进行微调时,可以实现准确的细分.
- 在手术图像分割任务上优于当前最先进的自我监督表示学习方法.
结论:
- SurgNet提供了一种强大的方法,用于在外科影像分析中进行自我监督的预训.
- 该方法可显著提高容器和仪器细分精度,使用最小的标记数据.
- 证明了对类似任务的概括性,并为未来的研究提供了有价值的数据集 (IVIS).
