MedLSAM:定位和细分任何用于3DCT图像的模型
Wenhui Lei1, Wei Xu2, Kang Li3
1School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai, China; Shanghai AI Lab, Shanghai, China.
Medical image analysis
|October 24, 2024
概括
我们介绍了MedLAM,一个3D医疗本地化模型,以及MedLSAM,将其与SAM集成. 这些模型使用很少的模板准确地识别了解剖部位,减少了用于医学图像分析的手动注释.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 基础模型在医学图像分析方面表现有前途,但缺乏特定的3D定位能力.
- 解剖结构的精确定位对于各种医学成像应用至关重要.
研究的目的:
- 介绍MedLAM,一个用于精确解剖部位识别的3D医疗基础本地化模型.
- 通过将MedLAM与分段任何模型 (SAM) 集成来开发MedLSAM,以减少注释工作.
- 评估MedLAM和MedLSAM在定位和细分解剖结构方面的性能.
主要方法:
- MedLAM使用两个自我监督任务:统一解剖绘图 (UAM) 和多尺度相似性 (MSS).
- 用于培训和验证的数据集包括14,012个CT扫描.
- MedLSAM将MedLAM与SAM集成,需要最小的点注释来进行本地化和细分.
主要成果:
- 在使用少数模板扫描来定位解剖结构方面,MedLAM的性能与完全监督的模型相美.
- 使用手动提示,MedLSAM表现出与SAM相当的性能,显著降低了注释要求.
- 在两个3D数据集上进行了实验,这些数据集覆盖了38个不同的器官.
结论:
- MedLAM有效地用最小的模板数据定位解剖结构.
- MedLSAM显著降低了3D医学图像细分任务的注释负担.
- MedLAM提供了与未来的3D SAM模型集成的潜力,以提高细分精度.
