基于视觉变压器适配器的超标嵌入用于糖尿病视网膜病变中的多病变细分

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 糖尿病视网膜病变 (DR) 是全球失明的主要原因.
• 早期检测和治疗对于预防视力丧失至关重要.
• 使用深度学习的自动诊断显示了DR细分的前景.

研究的目的:

• 为增强糖尿病视网膜病变细分提出一种基于变压器的新型模型.
• 将超标嵌入和空间前模块集成到视觉变压器中,以改进DR诊断.

主要方法:

• 开发了一个视觉转换器编码器,增强了一个空间前置模块,用于图像卷积和特征连续性.
• 利用超标嵌入用于特征矩阵的像素级分类.
• 内置的空间特征注入器和提取器用于特征交互处理.

主要成果:

• 与公共数据集上现有的DR细分模型相比,拟的模型表现出优越的性能.
• 超标嵌入有效地捕捉了特征矩阵中的几何结构,提高了细分精度.
• 空间前模块增强了特征连续性,有助于损伤的分化.

结论:

• 新型基于变压器的模型,具有超模嵌入和空间前置模块,显著提高了DR细分的准确性.
• 这种方法在临床环境中提供了准确和快速的自动化DR诊断的潜力.
• 未来的工作可能会将这个模型扩展到其他医学成像任务和临床验证.