语义AutoSAM:自动促使分段任何东西 医学图像语义分段的模型

科学领域:

• 医学图像分析 医学图像分析
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 细分任何模型 (SAM) 提供了强大的二进制细分功能,但缺乏语义理解.
• 手动提示SAM是耗时的,并且限制了其在自动化工作流程中的应用.
• 现有的方法通常需要特定的注释或手动干预来实现语义细分.

研究的目的:

• 开发一个自动化的语义细分模型,语义AutoSAM,利用SAM的基础.
• 为了消除在基于SAM的细分任务中需要手动提示的需求.
• 为了评估Semantic AutoSAM在医学成像数据集上的性能.

主要方法:

• 语义自动SAM建立在SAM的二进制细分框架之上.
• 一个轻量级的交叉注意模块取代了SAM的手动提示编码器.
• 该模型从图像特征直接预测提示嵌入,从而实现自动细分.

主要成果:

• 语义AutoSAM显示了与FLAIR和部超声波数据集上的地面真理界限框提示相似的性能.
• 在FLAIR数据集上获得0.62的Dice得分,在部超声波数据集上获得0.83的Dice得分.
• 在部超声波数据集上表现优于MobileSAM,尽管MobileSAM使用了groundtruth边界框.

结论:

• 语义自动SAM有效地使用SAM的架构自动化语义细分.
• 拟议的方法显著减少了在细分任务中需要手动交互的需求.
• 语义自动SAM显示了对高效和准确的医疗图像细分的承诺.