混合深度学习系统结合了放射学和临床数据,以改善结核病诊断

科学领域:

• 医疗成像中的人工智能
• 深度学习用于疾病诊断和诊断
• 为医疗保健提供多模式数据融合.

背景情况:

• 结核病 (TB) 诊断是复杂的,需要整合成像和临床数据.
• 使用卷积神经网络 (CNN) 的现有方法难以有效地建模成像和临床数据之间的相互作用.
• 以前试图将临床分数与成像结合起来,改善了诊断准确度,但存在局限性.

研究的目的:

• 开发一种混合深度学习模型,从胸部成像和结构化临床数据中共同学习,以加强结核病诊断.
• 通过有效建模跨模式相互作用,提高结核病诊断的准确性和可解释性.
• 为结核病提供可行的诊断途径,特别是在资源有限的环境中.

主要方法:

• 一个混合深度学习模型,采用跨模态变压器架构与对比的预训练.
• 使用视觉变压器用于胸部图像和表格变压器用于临床变量.
• 实施交叉模式的注意模块,用于令牌交互和对比学习,用于表示对齐.

主要成果:

• 拟议的模型在两个独立的队列上实现了0.96的曲线下面面积 (AUC) 和0.90的准确性.
• 与基于CNN的基线相比,显示出大约10%的显著改善.
• 注意力和SHAP分析显示,艾滋病毒状况和低BMI等临床因素影响模型预测.

结论:

• 混合深度学习模型有效地整合了放射学和临床数据,用于优质的结核病诊断.
• 与传统方法相比,这种方法提供了更高的准确性和可解释性.
• 该模型在资源有限的环境中为结核病诊断提供了一个有希望和可行的解决方案.