考虑培训数据中的不确定性,以提高机器学习性能,预测早期多发性硬化症新疾病活动的预测

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的机器学习
• 神经学 神经学

背景情况:

• 机器学习 (ML) 对使用健康数据预测个体患者的临床结果具有重大前景.
• 缺少的数据,特别是结果标签,在训练强大的ML算法方面是一个常见的挑战.
• 本研究涉及标签不确定性对临床试验环境中的ML模型性能的影响.

研究的目的:

• 在考虑标签不确定性时,比较三个ML模型的预测性能.
• 评估是否将不确定的结果纳入概率标签可以提高预测准确性.
• 评估ML模型在预测从临床隔离综合征转化为多发性硬化症 (MS) 的有效性.

主要方法:

• 使用了一项用于延迟MS转化中的米诺环素III期临床试验的数据集 (n=142).
• 使用MRI和临床数据训练了三个随机森林 (RF) 模型:RF_排除 (删除不确定的标签),RF_天真 (假设标签) 和概率RF (PRF) (概率标签).
• 用分层的7倍交叉验证来预测MS转化在2年内.

主要成果:

• 概率RF (PRF) 模型实现了0.76的最高曲线下面积 (AUC),超过了RF_排除 (0.69) 和RF_天真 (0.71).
• 与RF_排除 (82.6%) 和RF_天真 (76.8%) 相比,PRF还显示出更高的F1得分 (86.6%).
• 这些结果表明,建模标签不确定性显著提高了预测性能.

结论:

• 能够有效地模拟标签不确定性的机器学习算法可以提高预测性能.
• 这种方法对于数据集具有很大比例的未知结果的受试者特别有益.
• 在ML中使用概率方法可以在临床环境中带来更准确的预测,但数据有限.