MultiEYE:数据集和OCT增强的视网膜疾病识别基因图像的基准

科学领域:

• 眼科医生 眼科 眼科
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 目前用于眼睛疾病的多模式学习需要配对 fundus 和 OCT 图像,限制了临床实用性.
• 在开发强大的诊断模型方面,未配对的多模式数据构成了重大挑战.

研究的目的:

• 开发一种新的框架,用于从 fundus 图像使用未配对的多模式数据进行 OCT 增强的疾病识别.
• 引入一个新的基准数据集,MultiEYE,用于多模式,多类眼病诊断.
• 提出一种可解释的跨模式知识转移方法.

主要方法:

• 制定了一个新的设置,用于在培训期间使用未配对的多模式数据,并使用 fundus 图像进行测试.
• 介绍了MultiEYE数据集,这是用于诊断眼病的大型数据集.
• 开发了OCT协助的概念蒸方法 (OCT-CoDA),用于将知识从OCT转移到使用概念的基金模型.

主要成果:

• CT-CoDA显著改善了 fundus 图像的诊断性能.
• 交叉模式的知识转移过程得到了解释.
• 在多种疾病分类任务中展示了显著的结果和可解释性.

结论:

• 拟议的OCT-CoDA方法在眼病诊断中具有很大的临床应用潜力.
• 利用未配对的OCT数据可以增强基底图像基础诊断.
• 开发的数据集和方法促进了多模式医学图像分析的进一步研究.