通过GPT-4o:算法开发和多站点内部验证来增强传统方法来检测组合放射学研究中的横向性错误

科学领域:

• 医疗信息学 医疗信息学
• 在医疗保健中的自然语言处理.
• 放射学质量保证 质量保证

背景情况:

• 放射学报告中的横向性错误带来了严重的患者安全风险.
• 在综合放射性报告中发现这些错误的选方法尚不发达.

研究的目的:

• 分析综合放射性报告格式的挑战.
• 引入和评估一个新的组合方法 (基于规则的+GPT-4o) 用于横向性错误检测.
• 评估现实世界不平衡和合成平衡数据集之间的性能差异.

主要方法:

• 追溯分析了1万份未被识别的放射学报告.
• 开发和比较基线,解决方案和GPT-4o增强的基于规则的方法.
• 在真实世界和合成数据集上对微调的RoBERTa,ClinicalBERT和GPT-4o模型的评估.

主要成果:

• 在真实世界报告中,横向性错误率为1.20%,在组合 (1.47%) 与非组合 (0.57%) 报告中更高.
• 基于规则的+GPT-4o方法在不平衡的现实数据上实现了最高的回忆,超过了GPT-4o,ClinicalBERT和RoBERTa.
• 在所有模型中,与合成平衡数据相比,在真实世界的不平衡数据上观察到精度和F1分数的显著性能下降.

结论:

• 综合放射性报告格式为质量保证和NLP带来了独特的挑战.
• 基于规则的+GPT-4o组合方法在检测现实世界,不平衡数据集中的横向性错误方面表现出有效性.
• 未来的研究必须纳入现实世界的不平衡数据,以准确地比较性能.