可解释的多模式深度学习以实现透明的癌症诊断:整合放射学,临床特征和决策可视化

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 在瘤学瘤学.
• 机器学习 机器学习

背景情况:

• 目前的人工智能癌症诊断模型缺乏透明度,依赖单个数据类型,限制了临床信任.
• 整合多模式数据与可解释的决策是人工智能驱动的癌症诊断的一个重大挑战.

研究的目的:

• 为癌症诊断开发一种可解释的多式模式深度学习框架.
• 整合放射性成像和结构化临床特征,使用基于注意力的融合来提高可解释性和准确性.

主要方法:

• 提出了一个可解释的多模式深度学习框架,使用基于注意力的融合.
• 综合放射图像和结构化临床特征.
• 使用Grad-CAM++进行图像级解释,使用SHAP进行临床特征贡献.

主要成果:

• 该框架在准确性和可解释性方面超过了单一模式方法和简单的融合基线.
• 基于注意力的融合显示出优越的性能,而不是特征连接.
• 解释强调了相关的瘤区域和瘤风险因素,证明了概括能力.

结论:

• 可解释的多模式学习有效地结合了癌症诊断的准确性,可解释性和稳定性.
• 开发的框架支持创建可靠的基于人工智能的瘤决策支持系统.