多任务深度学习框架结合CNN:视觉变换器和PSO,用于准确的糖尿病视网膜病变诊断和病变定位
S Vijayalakshmi1, J Samuel Manoharan2, B Nivetha2
1Department of Electronics and Communication Engineering, Sona College of Technology, 636005, Salem, India. vijisaumiya@gmail.com.
Scientific reports
|October 8, 2025
概括
一个新的多视图交叉注意力视觉转换器 (MVCAViT) 框架通过分析斑点和光盘图像来改善糖尿病视网膜病变 (DR) 的诊断. 这种可解释的AI提高了分类准确性和病变定位,以获得更好的患者结果.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 糖尿病视网膜病变 (DR) 是全球可预防失明的主要原因.
- 迫切需要DR的准确和可解释的诊断框架.
- 目前的方法可能缺乏对多视图视网膜图像的全面分析.
研究的目的:
- 开发和评估一个新的多视图交叉注意力视觉转换器 (MVCAViT) 框架用于DR诊断.
- 为了提高分类,利用斑点和光盘视图之间的信息互补性.
- 提高自动化DR检测系统的可解释性和临床实用性.
主要方法:
- 提出了一个多视图交叉注意力视觉转换器 (MVCAViT) 框架,集成斑点和光盘视图.
- 使用了一种新的交叉注意力模型来实现多视图功能融合.
- 采用混合视觉变压器和CNN架构,具有多任务学习来进行分类,分级和本地化.
主要成果:
- MVCAViT框架在DRTiD数据集上实现了高分类准确度和损伤定位性能.
- 基于注意力的可视化展示了框架的可解释性.
- 多任务方法有效地在单个管道中识别了疾病的存在,严重程度和病变位置.
结论:
- 拟议的MVCAViT框架为DR诊断提供了一个强大的和可解释的解决方案.
- 这种方法增强了最先进的视网膜图像分析,可能改善患者的治疗结果.
- 该框架显示了在糖尿病眼病管理中临床应用的重大前景.
