在放射学报告中对瘤反应类别进行分类的文本感知提示技术的评估,使用大型语言模型
Jiwoo Park1, Woo Seob Sim2, Jae Yong Yu2
1Department of Radiology, Research Institute of Radiological Science, and Center for Clinical Imaging Data Science (CCIDS), Yonsei University College of Medicine, 50-1 Yonsei-Ro, Seodaemun-Gu, Seoul, 03722, South Korea.
Journal of imaging informatics in medicine
|September 30, 2025
概括
情境感知提示从放射学报告中显著改善瘤反应类别 (TRC) 的大语言模型 (LLM) 分类,增强瘤学工作流程. 这些先进的提示技术显示了分析复杂医疗数据的巨大潜力.
科学领域:
- 医学成像和放射学医学成像和放射学
- 人工智能在医学中的应用
- 在医疗保健中的自然语言处理.
背景情况:
- 放射学报告对于临床决策,疾病诊断和治疗计划至关重要.
- 大型语言模型 (LLM) 显示了在医疗报告中处理非结构化文本的潜力,但放射学方面的有效提示策略尚未得到探索.
研究的目的:
- 使用放射学报告评估瘤反应类别 (TRC) 的LLM驱动分类.
- 将四种提示工程技术 (一般,上下文学习,思维链,ICL与CoT) 进行比较,以优化临床放射学应用中的LLM性能.
主要方法:
- 利用3062个全脊柱对比度增强的MRI放射学报告进行快速工程和验证.
- 两位放射科医生使用修改后的RECIST标准建立了TRC.
- 采用了Llama3指令模型,有四个不同的提示来分类TRC,使用AUROC评估性能,准确性,精度,回忆和F1得分.
主要成果:
- 在上下文学习 (ICL) 和使用思维链 (CoT) 提示的ICL获得了优于AUROC平均分 (0.96内部,0.93外在ICL;0.97内部,0.94外在ICL与CoT).
- 提示的复杂性增加与更高的错误率相关,包括不完整的句子和概率分类不一致.
- 对TRC的LLM分类显示出高准确性,与情境感知提示显著优于简单的方法.
结论:
- 环境意识的LLM提示大大提高了从放射学报告中分类瘤反应类别的效率和有效性.
- 尽管有可能产生幻觉,但这些先进提示显示出对细分复杂的放射学报告和改善瘤学临床工作流程的重大前景.
- 为了充分实现现实世界的临床整合,需要进一步精细化,但这些发现突出了医疗AI应用中复杂的快速工程的价值.
