基于DINO V2模型和语义搜索的医疗图像诊断可解释的自我监督学习
Alaa Hussien1, Abdelkareem Elkhateb1, Mai Saeed1
1Machine Learning and Information Retrieval Department, Faculty of Artificial Intelligence, Kaferelshikh University, Kaferelshikh, 33511, Egypt.
Scientific reports
|September 1, 2025
概括
自主监督学习 (SSL),特别是DINOv2,提高了医学图像诊断的准确性和解释性. 这种方法克服了数据标签的局限性,并通过高效的语义搜索功能改善了临床决策.
科学领域:
- 医学的人工智能
- 医学图像分析
- 深度学习
背景情况:
- 医疗成像对于诊断和治疗计划至关重要,但随着数量增加,放射科医生的能力受到压力,导致延误和错误.
- 深度学习 (DL) 对医学图像诊断具有前景,但其依赖标记数据限制了临床应用.
- 自主监督学习 (SSL) 为克服医疗AI中的数据标签挑战提供了解决方案.
研究的目的:
- 在各种医学图像数据集中评估SSL,特别是DINOv2的性能.
- 将SSL方法与传统的监督学习 (SL) 模型进行医学图像诊断.
- 引入一个新的框架,利用DINOv2嵌入在医学数据库中的语义搜索,增强临床工作流程.
主要方法:
- 通过Qdrant在医疗数据库中使用DINOv2嵌入式搜索,从而能够有效地检索类似的病例.
- 将SSL模型 (DINOv2,BYOL,SimCLR) 的诊断精度与各种医疗图像数据集上的传统SL模型进行比较.
- 整合了DINOv2与ViT-CX,这是一个针对变压器的因果解释方法,用于生成临床可操作的热图,以实现模型的解释性.
主要成果:
- 与传统的SL相比,SSL,特别是DINOv2,在肺癌,脑瘤,白血病和眼睛视网膜疾病数据集中表现出更高的诊断准确性.
- DINOv2框架实现了有效的语义搜索,使临床医生能够快速检索类似的医疗病例.
- DINOv2和ViT-CX的组合提供了可解释的热图,突出显示瘤或细胞模式,这是之前SSL研究中缺乏的特征.
结论:
- 自主监督学习,特别是DINOv2,有效地解决了医学成像中的数据标记限制,提供了更高的诊断准确性.
- 开发的框架整合了语义搜索和可解释的人工智能,显著提高了医学图像分析的效率和可靠性.
- 这项研究为医疗诊断中更先进,更准确,更适用的人工智能工具铺平了道路.
