ViResGF-Net:为稳健的基金图像多标签分类提供门式多尺度混合视觉变压器

科学领域:

• 眼科医生 眼科 眼科
• 人工智能的人工智能
• 医疗成像医学成像

背景情况:

• 全球人口老龄化增加了由于白内障和绿内障等底部疾病导致视力损伤的患病率.
• 传统的眼科诊断依赖于医生对 fundus 图像的主观视觉检查,导致诊断差异和挑战在识别并存疾病.

研究的目的:

• 开发一种自动化,准确和强大的模型,用于对 fundus 疾病进行多类分类.
• 解决手动诊断的局限性,包括观察者之间的变化和专业化约束.

主要方法:

• 拟议的ViResGF-Net,一个封闭的多级混合视觉变换器模型,集成卷积神经网络 (CNN) 和视觉变换器 (ViT) 分支.
• 采用特征金字塔网络 (FPN) 来增强CNN分支机构内的本地特征提取.
• 在使用多层感知器 (MLP) 分类器进行分类之前,使用封闭融合单元 (GFU) 的两个分支机构的集成特征.

主要成果:

• ViResGF-Net实现了高性能指标:93.56%的准确性,92.99%的精度和92.36%的F1得分.
• 该模型的性能超越了现有的方法在多类底疾病分类.

结论:

• ViResGF-Net模型显示了提高 fundus 疾病诊断的准确性和效率的巨大潜力.
• 这种混合深度学习方法为自动眼镜图像分析提供了有希望的解决方案,特别是在涉及多种病理的复杂病例中.