来自机器学习模型的反事实预测:可转移性和联合分析,用于使用多源数据进行模型开发和评估

科学领域:

• 机器学习在医疗保健中的应用
• 在统计学中的因果推理.
• 流行病学方法 流行病学方法

背景情况:

• 当部署环境与开发环境不同时,机器学习模型面临性能下降和偏差估计,特别是在处理分配方面.
• 未能解决不同的治疗分配过程导致了低于最佳的模型开发和不准确的性能评估.

研究的目的:

• 开发和评估用于机器学习模型开发和性能估计的方法,当数据来自不同的治疗分配设置时.
• 应对在一个环境 (例如,随机试验) 中开发的模型应用于另一个环境 (例如,观察性研究) 的挑战.

主要方法:

• 提出了两种方法来估计模型和评估目标人群的表现,使用随机试验和观察性研究的数据.
• 方法1:根据观察数据进行反事实预测,假设有条件的可交换性 (没有未测量的混).
• 方法2:将估计值从试验转移到观察性群体,假设群体之间有条件的可交换性.

主要成果:

• 这项研究考察了支持模型适配和性能估计的观测方法和可运输性方法的假设.
• 根据这两种方法,为适配模型和评估目标人群的表现提供了估计器.
• 开发了结合试验和观察数据的联合估计策略,并讨论了基准测试.

结论:

• 观察分析和可转移性分析都可以根据反事实策略估计模型性能,但依赖于不同的,无法测试的假设.
• 在选择合适的方法时,考虑上下文至关重要.
• 结合随机试验和观察性研究的数据,如果假设得到满足,可以使估计更有效.