G2ViT:图形神经网络引导视觉转换器增强网络用于视网膜血管和冠状动脉血管图细分

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 血管细分对于诊断 fundus 和冠状动脉疾病至关重要.
• 传统的卷积神经网络 (CNN) 在局部特征提取方面扎,限制了全球上下文的理解.
• 对现有方法来说,捕获船舶的图形结构信息仍然是一个挑战.

研究的目的:

• 提出一个新的图形神经网络引导的视觉转换器增强网络 (G2ViT),以改善血管细分.
• 为了提高对血管整个图形结构和全球背景的理解.
• 为医疗血管细分提供强大的和可通用的解决方案.

主要方法:

• 开发了G2ViT,集成了CNN,图形神经网络 (GNN) 和视觉转换器 (ViT).
• 引入了一个GNN引导的ViT模块,用于在高级CNN特征上进行图形推理.
• 实现了一个多尺度边缘特征注意 (MEFA) 模块,使用扩展卷积和索贝尔边缘检测.
• 设计了一个多级特征融合 (MLF2) 模块,以在特征融合过程中保存信息.

主要成果:

• 在多个视网膜和冠状动脉血管学数据集中,G2ViT在血管细分方面表现出卓越的性能.
• 该模型显示出出色的稳定性,通用性和适用性.
• 实现了可接受的推断时间和计算复杂性.

结论:

• G2ViT为血管细分提供了一种新且有效的解决方案.
• 集成GNN和ViT显著改善了对全球船舶结构的理解.
• 拟议的方法对血管疾病的临床诊断具有前景.