在视网膜成像中使用多模式表示学习,使用自我监督学习来增强临床预测

科学领域:

• 眼科医生 眼科 眼科
• 人工智能的人工智能
• 医疗成像医学成像

背景情况:

• 自主监督学习 (SSL) 对于医学成像中的可泛化AI至关重要.
• 在多模数据上的对比表示学习产生可转移的特征.
• 眼科提供了丰富的多模式视网膜成像数据 (2D fundus,3D OCT).

研究的目的:

• 介绍一个新的多模式对比学习管道,用于关节视网膜成像表示.
• 评估下游任务的学习表征的可转移性和通用性.
• 评估使用低成本 fundus成像而不是OCT的影响.

主要方法:

• 开发了一个多模模式对比学习框架,用于2D fundus和3D OCT扫描.
• 在153,306对视网膜扫描对上进行了自我监督的预训.
• 对临床预测任务的三个独立的外部数据集验证了框架.

主要成果:

• 预培训框架产生了有效的检索系统和编码器.
• 学习的表征在各种下游任务中得到了很好的概括.
• 用 fundus 图像取代 OCT 保持了显著的预测能力.

结论:

• 多模式对比学习有效地为视网膜成像创建联合表示.
• 这种方法产生了可用于各种眼科应用的可转移特征.
• 仅靠 Fundus 成像就足以完成某些预测任务,提供了一个具有成本效益的替代方案.