语义导向的视觉提示学习用于糖尿病视网膜病变 评分在 Fundus 图像上的评分

科学领域:

• 眼科医生 眼科 眼科
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 糖尿病视网膜病变 (DR) 的分级对于患者护理至关重要,但由于数据和资源需求,在模型开发方面面临挑战.
• 现有的方法通常需要对大型预训练模型 (LPM) 进行广泛的微调,需要大量的计算资源和高质量的数据集.

研究的目的:

• 研究LPM的知识可转移性,以使用快速学习进行高效的DR分级.
• 开发一种新的快速学习方法,即以语义为导向的视觉快速学习 (SVPL),以增强语义感知和从LPM中提取特定任务的知识,用于DR等级.

主要方法:

• 提出了以语义为导向的视觉提示学习 (SVPL),用于每个DR级别的可学习提示,没有额外的注释.
• 引入了对比组对齐 (CGA) 模块,以在特定任务的语义空间内对齐提示组.
• 开发了一个层次语义交付 (HSD) 适配器模块,以促进高效的知识挖掘和模型融合.

主要成果:

• 与全调方法相比,SVPL取得了具有竞争力的结果,同时需要更少的可学习参数.
• 在三个公共DR分级数据集上的实验表明SVPL的性能优于现有的转移调和DR分级方法.
• 分析证实了从LPMs获得的概括知识的优势,用于对 fundus图像进行DR分级.

结论:

• 通过快速学习利用LPM,SVPL提供了一种高效和有效的方法来开发DR分级模型.
• 拟议的方法增强了语义理解和知识提取,为更容易获得和更准确的DR诊断铺平了道路.