使用自动评估指标和LLM-as-a-Judge方法评估医学文本摘要:一个试点研究

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能

背景情况:

• 电子健康记录 (EHR) 包含重要的临床数据,但难以处理.
• 大型语言模型 (LLM) 为总结EHR数据提供了一个有希望的解决方案,以帮助医生.
• 自动化质量控制对于将LLM总结工具整合到临床实践中至关重要.

研究的目的:

• 评估LLM生成的医学摘要的自动化质量控制的可行性和局限性.
• 在没有专家参与的情况下评估自动指标和LLM-as-a-judge方法.

主要方法:

• 六个开源的LLM从30个EHR文本样本中生成了摘要.
• 总结使用标准指标 (BLEU,ROUGE,METEOR,BERTScore) 和LLM-as-a-judge进行了评估.
• 标准包括相关性,完整性,冗余性,连贯性,语法,术语和幻觉检测.
• 专家评估使用相同的标准进行了比较.

主要成果:

• 在医学数据总结方面,LLM具有显著的潜力.
• 无论是自动指标还是LLM法官都无法可靠地检测事实错误或语义扭曲 (幻觉).
• 在LLM总结质量评分和有关相关性的专家意见之间观察到0.688的皮尔森相关性.

结论:

• 完全自动化医疗摘要的质量评估仍然是一个重大挑战.
• 未来的研究应该优先考虑幻觉检测方法,并探索更大,更专业的医学文本LLM.
• 将检索增强生成 (RAG) 集成到LLM-as-a-judge架构中需要进一步调查.