信号忠实度指数 - - 意识到校准,以解决在异构的现实世界数据中预测建模中的分布式转移
Jingya Cheng1, Jiazi Tian2, Federica Spoto3
1Clinical Augmented Intelligence Group, Massachusetts General Hospital, Boston, MA, USA. jcheng30@mgh.harvard.edu.
一个新的信号忠实度指数 (SFI) 量化了机器学习模型中的诊断信号衰变. 基于SFI的校准显著提高了跨不同临床条件的预测性能,优于传统方法.
科学领域:
- 临床信息学 临床信息学
- 医疗保健中的机器学习
- 健康 数据科学 数据科学
背景情况:
- 在真实世界数据 (RWD) 上训练的机器学习模型通常因分布式转移而退化.
- 由于诊断质量和一致性变化,诊断信号衰减是这种退化的不足探索的原因.
- 这种变化影响了用于模型训练和预测的临床代码的可靠性.
研究的目的:
- 开发和评估信号忠实度指数 (SFI) 以量化患者水平的诊断信号衰退.
- 评估SFI意识校准在改善模型性能方面的有效性,与既定方法相比.
- 在开发后,在目标领域实现校准模型的无标签部署.
主要方法:
- 开发了一个模拟框架,使用六种不同的表型 (痴呆症,双相情感障碍,纤维肌痛,多动症,2型糖尿病,高血压) 的合成患者数据集.
- 该SFI使用六个组成部分构建:诊断特异性,时间一致性,,上下文一致性,药物对齐和轨迹稳定性.
- 通过乘法调整公式实现了SFI意识的校准,参数通过监督开发进行优化,并在无标签设置中进行评估.
主要成果:
- 以SFI为准的校准显著提高了跨表型的预测性能 (科恩d = 0.603-5.002),超过了未校准的预测和基线方法.
- 性能增长因表型复杂性而异,F1得分从+4.2% (纤维肌痛) 到+34.9% (痴呆症) 的增长,AUC增长从+4.7%到+40.1%.
- 传统的校准方法,如同位素回归和普拉特缩放显示性能降低或不一致,而SFI意识校准提高了可靠性和分辨率.
结论:
- 诊断信号衰变是一个可处理的问题,可以通过患者级别的忠实度意识校准策略来解决.
- 基于SFI的校准提供了一种实用,可通用的方法,可以在不同的医疗保健环境中提高临床预测模型的性能.
- 这种方法始终优于既定技术,使其适用于缺乏结果标签的大型行政数据集.
更多相关视频
09:00Author Spotlight: Validation of SICOLE-R for Assessing Cognitive and Reading Skills in Spanish-Speaking Children and Its Role in Personalized Education
Published on: August 16, 2024
07:03Medical-grade Sterilizable Target for Fluid-immersed Fetoscope Optical Distortion Calibration
Published on: February 23, 2017
相关概念视频
Expected Frequencies in Goodness-of-Fit Tests
Aliasing
If the sampling frequency is below the Nyquist rate, these replicas overlap, preventing the original...
Distributions to Estimate Population Parameter
Sampling Distribution
Calibration Curves: Linear Least Squares
For data that follow a straight line, the standard method for fitting is the linear...
Calibration Curves: Correlation Coefficient
