渐变调制的对比蒸低级多模式知识用于疾病诊断
Xiaohan Xing1, Zhen Chen1, Yuenan Hou2
1Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong Special Administrative Region of China.
Medical image analysis
|July 9, 2023
概括
这项研究引入了一种新的多模式疾病诊断的两阶段框架,通过整合医疗图像和基因组数据来提高准确性. 该方法还通过从多式模式模型转移知识来改进单式模式诊断.
科学领域:
- 人工智能的人工智能
- 医疗信息学 医疗信息学
- 计算生物学 计算生物学
背景情况:
- 多模式数据融合,结合医疗图像和基因组资料等来源,为改善疾病诊断提供了互补的见解.
- 多模式诊断的关键挑战包括生成歧视性表示和通过单模式数据实现准确的诊断.
研究的目的:
- 提出一个两阶段的疾病诊断框架,解决多模式表示学习和单模式诊断方面的挑战.
- 加强跨模式的互补信息的利用,同时减轻噪音特征.
- 通过利用来自多模式教师模型的知识来实现准确的单模式诊断.
主要方法:
- 在第一阶段,开发了一种新的增强势头的多模式低等级 (M3LR) 约束,以探索高阶相关性和补充信息.
- 第二阶段采用差异监督对比蒸 (DSCD) 和梯度引导知识调制 (GKM) 来从多模式教师转移知识到单模式学生.
- 该框架在质瘤分类 (病理幻灯片和基因组数据) 和皮肤病变分类 (皮肤镜和临床图像) 上得到了验证.
主要成果:
- 与现有方法相比,拟议的框架在多模式和单模式诊断任务中实现了更高的性能.
- 通过利用补充信息,M3LR有效地产生了歧视性的多模式表示.
- DSCD和GKM成功地转移了知识,大大提高了单模式诊断的准确性.
结论:
- 开发的两阶段框架有效地解决了多模式疾病诊断的关键挑战.
- 拟议的M3LR,DSCD和GKM模块为多模和单模诊断场景提供了显著的改进.
- 这种方法表明了将不同类型的数据纳入临床决策的有希望的方向.
