在不确定的地面真相下,评估皮肤病学中的医疗AI系统

科学领域:

• 人工智能在医学中的应用
• 医疗信息学 医疗信息学
• 机器学习评估 机器学习评估

背景情况:

• 医疗人工智能系统需要严格的安全评估,通常与固定的基本真理相对应.
• 在医学诊断中,基本真相通常来自多个专家差异诊断,引入固有的不确定性和潜在的分歧.
• 当前的人工智能评估方法将差异诊断汇总到一个单一的标签上,忽略了这一关键的不确定性.

研究的目的:

• 解决人工智能表现的高估和低估风险,这是由于忽视了医疗人工智能的基准真相不确定性造成的.
• 开发一种统计方法,考虑到专家之间的分歧和个体诊断的不确定性.
• 为医疗人工智能系统提供更准确,更细致的性能指标.

主要方法:

• 提出了一种统计聚合方法,根据专家注释推断医学条件的概率分布.
• 开发了一种方法来生成多个医学状况概率样本,以捕捉基本真相不确定性.
• 评估和平均性能指标,如top-k精度和平均重叠,使用这些采样概率而不是单点估计.

主要成果:

• 证明忽视不确定性导致过于乐观的AI性能估计,并低估了相关风险.
• 在皮肤状况分类数据集中展示了显著的基本真相不确定性,揭示了标准方法的性能高估.
• 突出指出,点估计无法捕捉个案间不确定性的变化.

结论:

• 标准的AI评估方法假定固定的基本真理是医疗诊断不够的.
• 一个细微的评估协议,承认差异诊断的复杂性和可变性是医疗AI必不可少的.
• 拟议的不确定性意识方法提供了对医疗AI性能和相关风险的更现实的评估.