为什么在诊所中实施机器学习算法不是一个插即用解决方案:对用于急性白血病亚型诊断机器学习算法的模拟研究

科学领域:

• 医疗信息学 医疗信息学
• 临床决策支持系统 临床决策支持系统
• 医疗保健中的人工智能

背景情况:

• 人工智能 (AI) 和机器学习 (ML) 在临床医学中表现有前途,但往往缺乏现实世界的验证.
• 许多已发表的算法在实际的临床环境中仍然没有得到验证,这阻碍了广泛采用.
• 这项研究通过模拟用于急性白血病诊断的特定ML算法的实施来解决这一差距.

研究的目的:

• 模拟AI-PAL ML算法用于急性白血病诊断的实际实施挑战.
• 评估AI-PAL在临床环境中的实际性能.
• 强调在医疗保健中对ML算法进行本地验证和调整的必要性.

主要方法:

• 在埃森大学医院进行了AI-PAL算法实施的详细模拟.
• 队列构建使用快速医疗互操作资源 (FHIR) 数据库来识别相关患者病例.
• 通过复制先前的研究结果和分析诊断结果来评估算法性能.

主要成果:

• 与已发表的结果相比,AI-PAL算法在模拟的临床实施中表现明显较低.
• 急性淋巴细胞白血病的ROC曲线下的面积为0.67,急性髓性白血病为0.71.
• 重新校准概率切线使得急性白血病的确诊率从98个增加到160个,这表明需要进行局部调整.

结论:

• 在临床实践中实施ML算法存在重大挑战.
• 像AI-PAL这样的ML模型需要大量的调整和重新校准,以便在不同的临床环境中实现最佳性能.
• 在日常整合之前,对临床决策支持算法的本地性能验证至关重要,以确保可靠性和患者安全.