一个多分辨率的超图形变压器用于可解释的视网膜疾病预测

科学领域:

• 眼科医生 眼科 眼科
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 早期发现视网膜疾病对于预防视力丧失至关重要.
• 当前的诊断模型往往难以分类多种并存的视网膜疾病.
• 多种病理的相互关联特征在视网膜图像分析中构成了重大挑战.

研究的目的:

• 为多标签视网膜疾病分类和病变表征制定一个新的框架.
• 解决传统单一疾病诊断模型的局限性.
• 提高视网膜疾病自动诊断的准确性和可解释性.

主要方法:

• 提出了一个多分辨率超图视觉转换器 (MR-HGViT) 框架.
• 构建多分辨率超图以整合全球结构和局部损伤细节.
• 使用动态超图卷积网络 (DHGCNs) 和视觉变压器进行特征传播和依赖性捕获.
• 利用注意力图和Grad-CAM来实现模型的可解释性.

主要成果:

• 在三个基准数据集上实现了最先进的准确性:IDRiD (94.37%),REFUGE (94.12%) 和MuReD (93.78%).
• 在视网膜疾病的多标签分类中表现出卓越的表现.
• 通过增强模型解释性,提供了临床相关的见解.

结论:

• 该MR-HGViT框架是高度有效的多标签视网膜疾病诊断和病变的特征.
• 该模型为眼科医学的临床应用提供了显著的潜力.
• 通过将准确性与可解释性相结合,MR-HGViT推进了自动诊断工具.