SAM-Med3D:一种视觉基础模型,用于对体积医学图像进行通用细分

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 计算机视觉 计算机视觉

背景情况:

• 目前的体积医学图像细分模型通常是特定任务的,这限制了它们在不同解剖结构和成像方式中的临床适用性.
• 存在对通用细分模型的需求,这些模型可以适应各种医学成像任务.

研究的目的:

• 引入SAM-Med3D,这是一个视觉基础模型 (VFM),旨在用于体积医学图像的通用细分.
• 为了证明模型能够使用最小的3D提示在各种模式中准确地细分不同的解剖结构和病变.

主要方法:

• 开发SAM-Med3D,一个具有完全可学习的3D结构的提示式细分模型.
• 创建和预处理一个大规模的3D医学图像细分数据集 (SA-Med3D-140K),包括来自公共和私人来源的22K图像和143K口罩.
• 在SA-Med3D-140K数据集上使用两阶段程序训练SAM-Med3D.

主要成果:

• 在熟悉的和新的细分目标上,SAM-Med3D表现出了令人印象深刻的表现.
• 对16个数据集的全面评估显示了效率,有效性以及对未见过的任务的零射击可转移性.
• 该模型证明对各种医疗场景有效,包括各种解剖结构,模式和目标.

结论:

• SAM-Med3D代表了一般用途医疗图像细分的重大进步,克服了特定任务模型的局限性.
• 开发的模型显示了作为各种下游医疗人工智能应用的预训练模型的有希望的潜力.
• 这项工作强调了利用广泛的医疗数据资源来创建可适应的,通用医疗AI工具的可行性.