纵向多式变压器集成成像和隐藏的临床签名从常规的EHRs为肺结节分类肺结节

科学领域:

• 医学成像分析分析 医学成像分析
• 医疗保健中的人工智能
• 计算病理学计算病理学

背景情况:

• 通过整合重复成像和电子健康记录 (EHR),可以提高孤独肺结节 (SPN) 诊断的准确性.
• 纵向多模式学习是具有挑战性的,因为异步和不规则的样本临床数据.
• 目前的方法很难有效地将时间成像和EHR数据用于SPN分类.

研究的目的:

• 通过将重复成像与EHR的纵向临床签名相结合,为SPN分类制定基于变压器的多模式策略.
• 解决异步和不规则采样数据在纵向多式模式学习中的障碍.
• 通过共同学习成像和非成像表型来提高SPN诊断的准确性.

主要方法:

• 为SPN分类提出了一个基于变压器的多式联通战略.
• 用于未经监督地解开隐藏的临床特征.
• 从临床特征和胸部CT扫描中利用时间距离缩放的自我注意力进行联合学习.
• 预先训练了对公共和机构数据集的分类器,包括成像,计费代码,药物和实验室测试.

主要成果:

• 在具有挑战性的SPN上实现了0.824的曲线下面面积 (AUC) 显著改善,超过了纵向多式联络基线 (0.752 AUC).
• 与单个截面多式模式 (0.809 AUC) 和纵向成像仅 (0.741 AUC) 场景相比,表现出优异的性能.
• 验证了共同学习纵向成像和非成像表型的新方法的有效性.

结论:

• 拟议的基于变压器的多式联络策略通过有效整合纵向成像和EHR数据,显著提高了SPN诊断的准确性.
• 这种新的方法克服了异步数据采样的局限性,以改善多式模式学习.
• 该研究强调了共学习成像和非成像表型的优点,使用变压器进行复杂的医学诊断.