基于任务的患者数据采样,用于严格的机器学习/人工智能性能评估

科学领域:

• 医疗信息学医学信息学
• 医疗保健中的人工智能
• 数据科学是数据科学.

背景情况:

• 人工智能算法性能评估需要独立的数据集,代表预期的临床人群.
• 使用所有可用的数据可能是不切实际的,可能会引入抽样偏差.
• 代表性数据对于可靠的AI模型培训和验证至关重要.

研究的目的:

• 开发和演示基于任务的数据采样从大型存储库的计算方法.
• 为AI绩效评估生成与特定的人口和临床资料相匹配的数据集.
• 为了减轻人工智能算法开发和评估中的抽样偏差.

主要方法:

• 开发了一个基于任务的采样算法,要求用户定义初始队列,目标分布和允许偏差.
• 该算法应用于医学成像和数据资源中心 (MIDRC) 的数据共享.
• 人口特征和疾病状况被用作临床属性来匹配预期的人口资料 (例如,CDC的人口统计数据).

主要成果:

• 该算法成功地从初始>4000患者队列中取样队列 (542和870名患者).
• 抽取的队列与目标人口分布密切匹配,平均临床属性差异较低 (1.0%和2.1%).
• 该方法在生成用于AI绩效评估的匹配样本方面表现出有效性.

结论:

• 开发的基于任务的采样算法有效地从大型数据集中生成匹配的样本.
• 这种方法减少了采样偏差,提高了人工智能算法培训和绩效评估的可靠性.
• 该方法为在医学AI研究中创建代表性数据集提供了有价值的工具.