人工智能用于教学案例策划:对成像报告差异的模型性能进行评估
Michael Bartley1, Zachary Huemann1, Junjie Hu2
1Department of Radiology, UW-Madison School of Medicine & Public Health, Madison, Wisconsin (M.B., Z.H., X.T., A.B.R., T.K., J.D.W., T.B., E.M.L.).
Academic radiology
|March 9, 2025
概括
大型语言模型 (LLM) 可以有效地识别放射学报告的差异,改善教育案例选择和实习生监督. 这项技术有助于检测错误,以改善居民培训.
科学领域:
- 放射学 放射学是一门学科.
- 人工智能的人工智能
- 医学教育 医学教育
背景情况:
- 放射学住院教育依赖于识别不一致的学习报告.
- 手动修复不一致的案例是耗时的,可能会错过微妙的错误.
研究的目的:
- 评估使用大型语言模型 (LLM) 检测放射学报告中的差异的可行性.
- 评估LLM识别的差异的潜力,以策划教育案例集.
主要方法:
- 一项回顾性研究分析了头部CT和肌肉骨放射报告 (2017-2021年).
- 一个微调的LLM (RadBERT) 和其他模型 (Mistral,Llama2) 经过训练,以在5分级上检测报告差异.
- 在持久测试组中评估了表现,LLM策划的案例与随机组进行了比较.
主要成果:
- 微调的LLM在检测差异时实现了90.5%的准确性,95.5%的特异性和66.3%的灵敏性.
- 敏感性随着差异得分较高而增加 (81%的得分为4/5).
- 与随机集合相比,LLM策划的集合显示了所有和主要差异的更高流行率 (p<0.05).
结论:
- 法律学可以准确地检测实习生报告的差异,包括微妙的差异.
- 这项技术可以通过改善病例治疗来增强放射学居民教育.
- 此外,LLM还可以作为实习生绩效监督的宝贵工具.
