手术-DeSAM:解SAM用于机器人手术中的仪器细分
Yuyang Sheng1,2, Sophia Bano1,2, Matthew J Clarkson1,3
1Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London, London, UK.
概括
通过使用自动界限盒生成,Surgical-DeSAM可以在没有手动提示的情况下实时进行手术仪器细分. 这种方法显著改进了机器人手术中最先进的技术.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 计算机视觉 计算机视觉
- 医疗成像医学成像
背景情况:
- 分段任何模型 (SAM) 显示出对图像分割的承诺,但需要手动提示.
- 在实时手术应用中,由于缺少每注释和高注释成本,提示是不可行的.
研究的目的:
- 开发Surgical-DeSAM,用于机器人手术中的自动仪器分割系统.
- 为了实现实时细分而无需手动提示,克服了SAM在手术环境中的局限性.
主要方法:
- 使用DETR (检测变压器) 进行手术仪器的自动界限盒即时生成.
- 采用了脱的SAM (DeSAM) 架构,将图像编码器替换为DETR的.
- 微调的提示符编码器和面具解码器,结合Swin转换器来增强功能表示.
主要成果:
- 在EndoVis 2017年和2018年数据集上验证了外科-DeSAM.
- 实现了89.62% (EndoVis 2017) 和90.70% (EndoVis 2018) 的子指标.
- 与最先进的 (SOTA) 仪器细分方法相比,表现出优异的性能.
结论:
- 手术DeSAM在机器人手术中提供实时仪器细分,无需手动提示.
- 拟议的方法显著优于现有的SOTA细分技术.
