医学AI中的捷径学习阻碍了概括:估计AI模型概括的方法没有外部数据的概括.
Cathy Ong Ly1,2,3, Balagopal Unnikrishnan3,4,5,6, Tony Tadic7,8
1Peter Munk Cardiac Centre and Ted Rogers Centre for Heart Research, University Health Network, Toronto, ON, Canada.
NPJ digital medicine
|May 14, 2024
概括
医疗保健中的AI模型通常会因为数据偏差而高估性能. 一种名为PEst的新方法纠正了这些偏见,提高了AI在医疗应用中的通用性准确性估计.
科学领域:
- 人工智能在医学中的应用
- 机器学习用于医疗保健
- 生物医学数据科学 生物医学数据科学
背景情况:
- 医疗保健数据集的复杂性和数量不断增加,需要强大的AI模型.
- 不结构化的医疗数据 (图像,心电图,文本) 越来越多地被用于先进的人工智能.
- 在没有广泛的外部验证的情况下,估计AI可通用性到新的临床环境是一个重大挑战.
研究的目的:
- 解决在医疗保健环境中过度估计人工智能模型性能的问题.
- 量化数据采集偏差 (DAB) 和捷径学习对AI概括性的影响.
- 引入一种新的偏差校正方法来估计外部AI的准确性.
主要方法:
- 在13个不同的医疗数据集 (X射线,CT,ECG,临床笔记,肺部声音) 上进行了实验.
- 由隐藏的数据采集偏差 (DAB) 引起的调查过捷径学习.
- 开发并验证了一种开源,偏差纠正的外部准确度估计方法 (PEst).
主要成果:
- 人工智能模型的性能经常被平均高估了20%,这是由于从DAB学习捷径.
- 拟议的PEst方法证明了对外部精度估计的改进.
- PEst实现了平均外部准确度估计在真准确度的4%以内.
结论:
- 从数据采集偏差中快捷学习显著膨胀了医疗保健中的AI绩效估计.
- PEst方法提供了一个更可靠的AI模型概括性的评估.
- 这种偏差纠正的估计对于在现实世界医疗应用中部署可靠的AI至关重要.


