利用专业放射科医生的专业知识来加强LLM对人工智能生成的放射学报告的评估
Qingqing Zhu1, Xiuying Chen2, Qiao Jin1
1National Center for Biotechnology Information, National Library of Medicine, National Institutes of Health, Bethesda, MD, USA.
Proceedings. IEEE International Conference on Healthcare Informatics
|December 18, 2024
概括
这项研究引入了一种新的AI评估方法,用于放射学报告,将放射科医生的专业知识与大型语言模型 (LLM) 结合起来. 这种先进的方法显著提高了评估人工智能生成的医疗报告的准确性.
科学领域:
- 医学成像和人工智能 医学成像和人工智能
- 在医疗保健中的自然语言处理.
背景情况:
- 人工智能 (AI) 已经改善了放射学报告的生成,但自动评估是困难的.
- 像常规自然语言生成 (NLG) 和临床有效性 (CE) 这样的现有指标在捕捉临床背景和清晰度方面存在局限性.
研究的目的:
- 开发一种新的方法来评估人工智能生成的放射学报告,与专家放射科医生标准保持一致.
- 在评估人工智能驱动的医疗报告中提高准确性和语义理解.
主要方法:
- 将专业放射科医生的专业知识与大型语言模型 (LLM) (如GPT-3.5和GPT-4.) 进行协同.
- 在基于LLM的评估中采用语境指导学习 (ICIL) 和思维链 (CoT) 推理.
- 使用回归模型汇总句子评估分数进行综合评估.
主要成果:
- "详细的GPT-4 (5-shot) "模型实现了0.48的相关性,比METEOR的表现优于0.19.
- "回归GPT-4"模型表现出与专家评估的优异对齐 (0.64),超过现有指标0.35.
- 通过代策略验证了LLM生成的解释的稳定性.
结论:
- 拟议的方法整合了LLM和放射科医生的专业知识,大大提高了人工智能生成的放射学报告的质量评估.
- 这种方法为评估人工智能驱动的医疗内容的准确性设定了新的标准.
- 未来发布的专家注释将进一步完善和验证放射学中的AI评估工具.
更多相关视频
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
8.2K
03:14Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
500
