从自然图像中调整SAM2模型,用于在牙科全景X射线图像中对牙进行细分
Zifeng Li1, Wenzhong Tang1, Shijun Gao1
1School of Aeronautic Science and Engineering, Beihang University, 37 Xueyuan Road, Haidian District, Beijing 100191, China.
Entropy (Basel, Switzerland)
|January 8, 2025
概括
本研究介绍了一种高效的深度学习方法,用于使用微调的SAM2模型和知识蒸进行牙科X射线细分. 拟议的LightUNet模型在显著减少参数和推理时间的情况下实现了高精度,从而实现了边缘设备的部署.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 牙科全景X射线成像具有成本效益和低剂量,但由于图像质量和有限的数据集,在准确的牙细分方面面临挑战.
- 传统的深度学习模型在牙科X射线数据上的过度拟合和概括问题上扎,高精度模型需要大量的计算资源.
- 精确的牙细分对于牙科诊断,病变分析和治疗计划至关重要.
研究的目的:
- 开发一个准确和高效的牙细分方法,用于牙X射线图像.
- 解决传统深度学习模型的局限性,包括过度安装和高计算成本.
- 为了在资源受限的边缘设备上部署先进的细分模型.
主要方法:
- 微调预先训练的SegmentAnything Model 2 (SAM2) 与牙科图像的适配器模块.
- 结合ScConv模块和封闭注意力机制,以增强语义理解和多尺度特征提取.
- 使用知识蒸来训练一个更小,更高效的模型 (LightUNet) 从微调的SAM2教师模型.
主要成果:
- 拟议的方法在细分精度指标上显著优于传统的UNet模型,例如UFBA-UESC数据集上的IoU.
- LightUNet 模型表现出更好的稳定性,特别是在有限的样本数据集下.
- 轻UNet的性能与UNet的性能相当,其参数仅为1.6%,推断时间为24.0%.
结论:
- 开发的牙细分方法有效提高了牙X射线分析的准确性和稳定性.
- 该LightUNet模型提供了一个计算效率高的解决方案,适合在临床环境中部署在边缘设备上.
- 这种方法增强了深度学习在牙科诊断中的实际应用,特别是在有限的数据和资源的情况下.
