通过注意力机制和封闭的残留学习进行图像-文本引导的 fundus 血管细分
Jianguo Xu1, Qingyou Liu1, Jianxin Shen1
1College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing, China.
Frontiers in cell and developmental biology
|January 1, 2026
概括
本研究引入了一种创新的图像-文本导向模型,用于 fundus 血管细分,显著改善细血管检测. 该模型在公共数据集上实现了卓越的性能,为诊断眼部疾病提供了有前途的新方法.
科学领域:
- 眼科医生 眼科 眼科
- 医疗成像医学成像
- 计算机视觉 计算机视觉
背景情况:
- 准确的 fundus 血管细分对于早期的眼部疾病诊断至关重要.
- 目前的深度学习方法在细分器的细分上扎,需要大量的手动注释.
- 现有方法的局限性需要新的方法来提高准确性和效率.
研究的目的:
- 开发一个先进的图像-文本导向细分模型,用于 fundus 血管.
- 为了克服细分船舶细分方面的挑战,并减少对像素级注释的依赖.
- 通过使用专门的模块来增强功能表示和信息流.
主要方法:
- 构建带有文字标签的多式联运基金船数据集.
- 将Squeeze-and-Excitation (SE) 模块集成到CNN的骨干中,用于自适应性道重新校准.
- 在视觉变压器 (ViT) 骨干中实施封闭的残留学习,以调节特征流.
主要成果:
- 拟议的模型在DRIVE和ROSE-1数据集上展示了优越的细分性能.
- 实现了高度指标,包括F1分数为82.01% (DRIVE) 和86.34% (ROSE-1),精度为95.72% (DRIVE) 和94.61% (ROSE-1).
- 超过现有的深度学习方法,突出其竞争力和潜力.
结论:
- 开发的图像-文本导向模型为基金血管细分提供了可行和有价值的解决方案.
- 该方法显示了促进眼部疾病诊断的巨大潜力.
- 预计这项工作将在医学图像分析领域开辟新的研究途径.
