医疗切片变压器用于改善DINOv2的3D医疗图像上的诊断和解释性
Gustav Müller-Franzes1, Firas Khader2, Robert Siepmann2
1Department of Diagnostic and Interventional Radiology, University Hospital Aachen, Aachen, Germany. gumueller@ukaachen.de.
Scientific reports
|July 4, 2025
概括
这项研究适应了2D自主监督学习模型用于3D医学成像,实现了卓越的诊断准确性和可解释性. 医疗切片变压器 (MST) 框架提高了乳房MRI,胸部CT和膝盖MRI分析的性能.
科学领域:
- 医疗成像医学成像
- 深度学习 (Deep Learning) 是一种深度学习.
- 计算机视觉 计算机视觉
背景情况:
- 磁共振成像 (MRI) 和计算机断层扫描 (CT) 对于诊断复杂疾病至关重要.
- 大量的注释3D医学成像数据集的稀缺性阻碍了深度学习应用.
- 像DINOv2这样的现有的二维自我监督方法显示出希望,但不能应用于3D医疗数据.
- 深度学习模型往往缺乏可解释性,这在临床信任和采用方面带来了挑战.
研究的目的:
- 扩展2D自主监督学习模型,特别是DINOv2,到3D医学成像.
- 评估适应模型的诊断性能和可解释性.
- 为此目的引入一个新的框架,医疗切片变压器 (MST).
主要方法:
- 开发了医疗切片变压器 (MST) 框架,以适应2D自我监督模型用于3D医疗图像分析.
- MST集成了一个变压器架构与一个2D特征提取器 (DINOv2).
- 在三个临床数据集上对3D卷积神经网络 (3D ResNet) 进行MST评估:乳房MRI,胸部CT和膝盖MRI.
- 通过接受器操作特征曲线 (AUC) 下面的面积和通过放射学家对突出性图的比较来解释诊断性能.
主要成果:
- 在所有数据集中,MST实现了比3D ResNet更高的AUC值:乳房MRI (0.94±0.01对比0.91±0.02),胸部CT (0.95±0.01对比0.92±0.02),膝盖MRI (0.85±0.04对比0.69±0.05).
- 对于乳房和膝盖MRI数据集,观察到统计学意义 (P <0.05).
- 与3D ResNet.Net相比,MST生成的 Saliency 地图始终更加精确和解剖学正确.
结论:
- 自主监督的2D模型,如DINOv2,可以有效地适应使用MST框架进行3D医学成像.
- 与传统的3D卷积神经网络相比,MST方法提供了更高的诊断准确性和更好的解释性.
- 这项工作为医疗成像中更可靠和可解释的AI驱动诊断铺平了道路.
