FastSAM3D:为3D体积医学图像提供一个高效的分段模型
Yiqing Shen1, Jingxing Li1, Xinyuan Shao1
1Johns Hopkins University, Baltimore, MD 21218, USA.
Medical image computing and computer-assisted intervention : MICCAI ... International Conference on Medical Image Computing and Computer-Assisted Intervention
|August 27, 2025
概括
使用分段任何模型 (SAM),FastSAM3D显著加快了3D医疗图像分段. 这种新的方法使得3D卷的快速,交互式细分能够克服以前的计算限制.
科学领域:
- 人工智能
- 医学成像
- 计算机视觉
背景情况:
- 分段任何模型 (SAM) 为对象分段提供强大的零射击概括.
- 用SAM进行交互分段对于3D医学成像很有价值,但由于推断速度缓慢和内存需求高而受到阻碍.
- 当前2D SAM应用于3D卷导致冗余计算,而3D SAM在计算上昂贵.
研究的目的:
- 开发使用SAM进行交互式3D医疗图像细分的高效方法.
- 克服现有的三维体积数据的计算瓶.
- 在标准GPU硬件上实现实时,低成本的交互分段.
主要方法:
- 推出了FastSAM3D,一种用于加速SAM推断3D医学图像的系统.
- 使用层级渐进蒸方案将知识从一个大型ViT-B转移到一个较小的ViT-Tiny编码器.
- 整合了新的3D稀疏闪光注意力来减少内存使用并增强并行化.
主要成果:
- 在NVIDIA A100 GPU上实现了128x128x128 3D卷的推断速度为8毫秒.
- 在各种数据集上,超过2D SAM的527.38×和8.75×的速度提升.
- 与现有方法相比,没有显著下降的细分性能.
结论:
- 用SAM3D实现真正互动,低成本的3D医疗图像细分.
- 开发的技术解决了实际应用的关键速度和内存限制.
- 这项工作有助于在临床3D医学成像工作流程中更广泛地采用SAM.
