用OCT和 fundus图像进行多标签视网膜疾病预测的多模式AI:一种混合方法
Amina Zedadra1, Mahmoud Yassine Salah-Salah2, Ouarda Zedadra1
1LabSTIC Laboratory, University 8 May 1945 Guelma, Algeria, BP 401, Guelma 24000, Algeria.
Sensors (Basel, Switzerland)
|July 30, 2025
概括
视觉追踪 (VisionTrack) 是一个结合图像分析,临床数据和医疗报告的AI系统,可以准确预测多种视网膜疾病. 这种多模式的方法增强了对糖尿病视网膜病变等疾病的早期检测和个性化眼科护理.
科学领域:
- 眼科和人工智能的人工智能
- 医学诊断 医学诊断 医学诊断
- 计算机视觉 计算机视觉
背景情况:
- 眼部疾病显著影响视力和生活质量.
- 目前的诊断方法耗时,依赖于专家的解释.
- 现有的人工智能系统往往只专注于医学成像.
研究的目的:
- 开发和评估VisionTrack,一个用于预测多种视网膜疾病的多式人工智能系统.
- 整合基于图像,临床风险因素和基于文本的数据,以进行全面的视网膜健康评估.
- 提高诊断疾病的准确性和效率,如糖尿病视网膜病变 (DR),与年龄相关的黄斑退化 (AMD) 等.
主要方法:
- 使用混合AI框架集成卷积神经网络 (CNN),图形神经网络 (GNN) 和大型语言模型 (LLM).
- 使用CNN从视网膜图像 (OCT和 fundus) 中提取特征.
- 应用GNN来建模临床风险因素中的关系,以及LLM来处理患者医疗报告.
主要成果:
- 视觉跟踪在RetinalOCT和RFMID数据集上展示了强大的多标签疾病预测性能.
- 在各种视网膜疾病中实现了高精度 (例如,在视网膜OCT上为0.980,在RFMID上为0.989) 和F1分数.
- 在各种成像模式中确认了强度,可靠性和概括能力.
结论:
- 多模式人工智能系统VisionTrack提供了一种全面的方法来预测视网膜疾病.
- 这种混合系统显示了早期检测,风险评估和个性化眼科护理的巨大潜力.
- 多种数据源的整合提高了诊断准确性和临床实用性.
