来自大型语言模型的标签噪声的影响产生了对诊断模型性能评估的注释

科学领域:

• 人工智能的人工智能
• 机器学习评估 机器学习评估
• 医疗信息学 医疗信息学

背景情况:

• 评估人工智能 (AI) 二元分类模型依赖于准确的数据标签.
• 大型语言模型 (LLM) 越来越多地用于数据注释,但它们可能引入标签噪音是令人担忧的.

研究的目的:

• 系统地调查LLM产生的标签噪声对人工智能二元分类模型实际性能评估的影响.
• 量化由疾病流行率调节的LLM标签错误如何影响AI模型性能估计的准确性.

主要方法:

• 使用合成数据集 (1万例) 开发了一个模拟框架,跨越不同流行情况 (10%至90%).
• LLM的灵敏度和特异性是独立变化的,并模拟了具有已知的性能的AI模型.
• 使用LLM生成的标签计算明显模型性能,使用分析和蒙特卡洛方法来确定性能边界和不确定性.

主要成果:

• 士学位标签质量显著影响了明显的AI模型性能,偏差严重依赖于疾病流行率.
• 在低患病率 (10%) 的环境中,LLM特异性降低导致AI模型灵敏度的大幅低估 (例如,90%的LLM特异性导致完美的模型明显灵敏度为53%).
• 在高患病率 (90%) 的环境中,LLM敏感度降低导致AI模型特异性的低估 (例如,90%的LLM敏感度为完美的模型带来了~53%的明显特异性).

结论:

• 由LLM生成的标签可以在AI模型评估中引入系统的,依赖于流行率的偏见.
• 高的LLM特异性对于准确的性能估计在低流行任务至关重要,以防止假阳性从不成比例的偏差敏感性.
• 仔细考虑LLM标签质量和流行率对于可靠的AI模型评估至关重要.