基于多模式医疗张量融合网络的DL框架,用于从放射学CXR和临床文本报告中预测异常

科学领域:

• 医学成像分析分析 医学成像分析
• 医疗保健中的人工智能
• 肺部疾病诊断 肺部疾病诊断

背景情况:

• 肺部疾病在全球范围内很常见,需要及时和准确的预后.
• 当前的深度学习 (DL) 方法通常分析单个数据模式,忽视了有价值的临床背景.
• 有效的数据融合策略对于在异质医疗数据上进行机器学习 (ML) 是至关重要的.

研究的目的:

• 研究使用DL预测肺部异常的多式医疗融合策略.
• 开发和比较单模和多模深度学习子网络,用于分析胸部X射线 (CXR) 和临床文本报告.
• 在标准,增强和合成数据集上评估模型性能,包括未见的数据.

主要方法:

• 提出了两个深度学习子网络:单模和多模.
• 利用异质数据,包括胸部X射线 (CXR) 和临床文本报告.
• 在公共和私人数据集上进行了全面的性能分析和单模和多模模型之间的比较.

主要成果:

• 与单模模型相比,多模深度学习模型表现出更高的性能.
• 拟议的模型在标准增强数据和合成生成数据上进行了验证.
• 使用印第安纳大学数据集和私人医院数据进行了彻底的评估.

结论:

• 综合CXR和临床报告的多式融合策略增强了肺部异常预测.
• 深度学习方法显示出改善放射学诊断准确性的巨大潜力.
• 开发的模型为肺部疾病中临床一致的预后决策提供了有希望的方向.