SAF-IS:一个无空间注释的框架,例如手术工具的细分
Luca Sestini1, Benoit Rosa2, Elena De Momi3
1ICube, University of Strasbourg, CNRS, France; Department of Electronics, Information and Bioengineering, Politecnico di Milano, Milano, Italy.
Medical image analysis
|January 24, 2025
概括
这项研究引入了手术仪器实例细分的新框架,避免了昂贵的像素级注释. 它使用二进制面具和工具存在标签进行训练,在没有空间数据的情况下实现最先进的结果.
科学领域:
- 计算机辅助手术是计算机辅助的手术.
- 医疗图像分析 医学图像分析
- 对于手术机器人的深度学习.
背景情况:
- 手术仪器的实例细分对于计算机辅助手术应用至关重要.
- 目前的方法依赖于完全监督的深度学习模型,需要昂贵的像素级注释.
- 这种注释瓶阻碍了先进的外科工具的广泛采用.
研究的目的:
- 开发一种用于手术仪器实例细分的新框架,可以在培训期间消除对空间注释的需求.
- 为了有效的模型培训,利用易于获得的数据,如二进制工具面具和工具存在标签.
- 为了使计算机辅助手术系统的开发更加容易获得和可扩展.
主要方法:
- 提出了一个框架,利用二进制工具面具和工具存在标签进行培训.
- 该方法学习提取单个工具实例并将其编码为紧的矢量表示.
- 一小部分实例被选择用于人类操作员标签,指导工具实例分类器的训练.
主要成果:
- 该框架在2017年和2018年的EndoVis细分数据集上得到了验证.
- 使用手动注释和无监督预测二进制面具来证明结果.
- 使用无监督二进制面具的方法实现了完全没有空间注释的实例细分.
- 性能超过了几种最先进的完全监督的细分方法.
结论:
- 开发的框架为手术仪器实例细分提供了有效的解决方案,而不需要昂贵的像素级注释.
- 使用无监督的二进制细分模型来生成面具,可以实现完全无注释的方法.
- 这种方法通过降低数据采集成本,显著提高了开发先进计算机辅助手术应用程序的可行性.
