视网膜疾病的多标签分类通过一个新的视觉变压器模型
Dong Wang1, Jian Lian2, Wanzhen Jiao3
1School of Information Science and Electrical Engineering, Shandong Jiaotong University, Jinan, China.
Frontiers in neuroscience
|January 23, 2024
概括
一个新的视网膜ViT模型准确地从图像中分类多种视网膜疾病,优于现有方法. 这一进步有助于诊断复杂病例并预防视力障碍.
科学领域:
- 眼科医生 眼科 眼科
- 医疗成像医学成像
- 人工智能的人工智能
背景情况:
- 准确识别视网膜疾病对于预防视力丧失至关重要.
- 目前的方法难以在单个患者中分类多个并发的视网膜疾病.
- 视网膜图像的多标签分类提供了宝贵的临床见解.
研究的目的:
- 为多标签视网膜图像分类引入一种新的视觉转换器 (视网膜ViT).
- 证明基于变压器的模型在医学图像分析中的有效性,不包括卷积模块.
- 为复杂的视网膜疾病开发一个强大的多标签分类器.
主要方法:
- 开发了一个视觉转换器架构 (视网膜ViT),利用自我注意机制.
- 消除了卷积模块,以专注于变压器功能.
- 实施了双层的前网络,用于多标签分类.
主要成果:
- 与最先进的模型 (ResNet,VGG,DenseNet,MobileNet) 相比,拟的视网膜ViT模型表现出更高的性能.
- 在ODIR-2019数据集上实现了包括Kappa,F1得分,AUC和AVG在内的改进指标.
- 成功解决了视网膜疾病多标签分类的挑战.
结论:
- 视网膜ViT模型为多标签视网膜图像分类提供了具有竞争力和有效的方法.
- 基于变压器的模型显示了眼科医学图像分析的巨大潜力.
- 这项工作有助于诊断患有多种同时发生的视网膜疾病的患者.
