拼接,微调,再培训:一个支持SAM的框架,用于半监督的3D医疗图像细分

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 完全监督的医疗图像细分使用细分任何模型 (SAM) 微调产生高性能,但需要广泛的注释.
• 降低注释成本,同时保持细分精度,对于临床应用至关重要.
• 现有的SAM微调方法往往忽略了3D医疗数据中的切片间上下文信息.

研究的目的:

• 开发一个半监督的医疗图像细分框架,利用SAM的能力.
• 通过结合3D上下文信息来解决2D切片微调的局限性.
• 提出一个有效,高效和与现有的半监督方法兼容的框架.

主要方法:

• 提出了一个由三个阶段组成的框架:拼接,微调和再培训 (SFR).
• 一种新的拼接策略将2D切片整合到3D环境中,减轻不匹配.
• 拼接图像用于SAM微调,以生成强大的伪标签,然后进行3D半监督模型训练.

主要成果:

• SFR框架显著提高了五个数据集的半监督医疗图像细分性能,特别是在稀缺的注释条件下.
• 在LA数据集中,SFR将平均教师模型的Dice分数从29.68%提高到74.40%,只使用一个标记图像.
• 扩展的SFR+框架,包括通过信心估计进行选择性微调和再培训,进一步提高了绩效.

结论:

• 拟议的SFR框架有效地降低了医疗图像细分的注释成本,同时实现了高性能.
• SFR是一个兼容各种半监督学习方法的插件和操作框架.
• 该方法显示了提高医疗图像细分效率和可访问性的巨大潜力.