医疗图像的任何细分模型?
Yuhao Huang1, Xin Yang1, Lian Liu1
1National-Regional Key Technology Engineering Laboratory for Medical Ultrasound, School of Biomedical Engineering, Shenzhen University Medical School, Shenzhen University, Shenzhen, China; Medical UltraSound Image Computing (MUSIC) Lab, Shenzhen University, Shenzhen, China; Marshall Laboratory of Biomedical Engineering, Shenzhen University, Shenzhen, China.
Medical image analysis
|December 12, 2023
概括
细分任何模型 (SAM) 对医疗图像细分有希望,但需要仔细提示和微调,以便在不同情况下实现最佳性能. 它在协助人类注释方面的实用性也得到了强调.
科学领域:
- 计算机视觉 计算机视觉
- 医学成像分析 医学成像分析
- 人工智能的人工智能
背景情况:
- 分段任何模型 (SAM) 是一般图像细分的基础模型.
- 医疗图像细分 (MIS) 由于复杂的模式,精细的结构和可变的物体尺度而带来了独特的挑战.
研究的目的:
- 综合评估SAM在医疗图像细分任务上的表现.
- 建立一个大规模,多样化的医疗图像细分数据集 (COSMOS 1050K) 进行严格的验证.
- 分析各种SAM配置和提示MIS的策略.
主要方法:
- 收集和组织了53个开源数据集,创建了COSMOS 1050K数据集 (18种模式,84个对象,1050K图像,6033K面具).
- 进行了广泛的实验,分析了SAM在不同版本 (ViT-B,ViT-H) 和提示方法 (Everything模式,盒子提示,点提示) 的性能.
- 评估了SAM在协助人类注释方面的潜力,以及微调对特定医疗任务的影响.
主要成果:
- SAM表现出可变的性能,在某些领域表现出色,但在其他领域表现不稳定.
- 使用ViT-H的SAM通常优于ViT-B,盒子提示比Everything模式更有效.
- 在特定任务微调后,SAM显示了高效的人类注释和性能增长的潜力 (4.39%-6.68%的DICE改进).
结论:
- SAM是医疗图像细分的强大工具,但需要仔细的快速工程和微调,以实现强大的应用.
- 该COSMOS 1050K数据集为未来的医学图像细分研究提供了宝贵的资源.
- 需要进一步的研究来解决SAM的敏感性,以提醒随机性,并优化其在复杂的医学成像场景中的使用.
