低级微调与跨模式分析相遇:与年龄相关的黄斑退化症分类的强有力的框架

科学领域:

• 眼科医生 眼科 眼科
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 与年龄相关的黄斑变性 (AMD) 是老年人视力丧失的主要原因.
• 目前使用单一成像方式的诊断方法,如彩色底部摄影 (CFP) 和光学连贯性断层扫描 (OCT),在捕捉复杂的AMD病理方面存在局限性.
• 准确和早期诊断AMD对于有效管理和预防不可逆转的视力损伤至关重要.

研究的目的:

• 开发和验证一个创新的多模式深度学习框架,以加强与年龄相关的黄斑退化 (AMD) 的分类.
• 整合CFP和OCT成像的功能,以便更全面地诊断AMD.
• 提高多模式AMD分类模型的效率和性能.

主要方法:

• 一个多模式的深度学习框架,利用视觉转换器模型从CFP和OCT图像中提取特征.
• 深度正规相关性分析 (DCCA) 用于非线性特征映射和融合,以最大限度地提高交叉模式的相关性.
• 整合低级调整 (LoRA) 技术以减少计算复杂性和提高参数效率.

主要成果:

• 拟议的框架在MMC-AMD数据集上实现了高性能指标,包括F1得分为0.948,AUC-ROC为0.991,准确度为0.949.
• 该模型在AMD分类方面显著优于现有的单模和多模基线方法.
• 与完整的微调相比,LoRA技术仅在0.49%的可训练参数下实现了卓越的性能.

结论:

• 开发的多模式深度学习框架有效地整合了CFP和OCT数据,用于高级AMD诊断.
• 使用DCCA和LoRA为AMD复杂的病理分类提供了高效和高性能解决方案.
• 这种方法在改善AMD诊断在临床环境中的准确性和效率方面具有显著的前景.