基于注意力的神经网络用于电子健康记录上的临床预测建模

科学领域:

• 机器学习 机器学习
• 人工智能的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 深度学习模型在各个领域都表现出色,但历史上一直在与结构化数据作斗争.
• 在复杂的数据任务中,越来越多地探索了包含注意力机制的监督深度学习模型.

研究的目的:

• 严格比较四种最先进的监督深度学习模型与传统方法 (逻辑回归,XGBoost) 的性能.
• 评估基于对结构化健康数据的歧视,校准和临床实用性的模型.

主要方法:

• 实现循环神经网络,变压器 (有/没有反向蒸) 和图形神经网络模型.
• 性能测量使用接收器操作特征曲线 (AUC) 下面的面积和精度回调曲线 (AUPRC) 下面的面积进行区分.
• 通过决定曲线分析评估使用限制立方线和临床实用性的校准.

主要成果:

• 深度学习模型显示了歧视的改善,AUC增长高达2.5%,AUPRC增长高达7.4%.
• 反向蒸的变压器模型在特定的预测任务中显示出卓越的临床实用性.
• 大多数深度学习模型表现出与基线方法可比的校准,图形神经网络是例外.

结论:

• 深度学习,特别是注意力机制,在分析电子健康记录数据方面具有价值,以改善歧视和临床实用性.
• 虽然深度学习显示出潜力,但物流回归和XGBoost等既有方法仍然具有竞争力.
• 选择深度学习架构和培训策略 (例如,反向蒸) 显著影响性能和临床适用性.