相关概念视频
您也可能阅读
相关文章
通过共同作者、期刊和引用图与本文相关的文章。
排序
Same author
Telemonitoring in Inflammatory Bowel Disease: Findings from the TIGE-Rus Randomized Controlled Trial.
Journal of clinical medicine·2026
Same author
RiTex: Harmonization of Radiomic Features Based on Riemannian Geometry.
Journal of imaging·2026
Same author
Comparison of artificial intelligence (AI) services for Breast Imaging-Reporting and Data System (BI-RADS) classification on mammograms.
Quantitative imaging in medicine and surgery·2026
使用自动评估指标和LLM-as-a-Judge方法评估医学文本摘要:一个试点研究
Yuriy Vasilev1, Irina Raznitsyna1, Anastasia Pamova1,2
1Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, 127051 Moscow, Russia.
Diagnostics (Basel, Switzerland)
|January 10, 2026
概括
大型语言模型 (LLM) 显示出对电子健康记录 (EHR) 总结的希望. 然而,自动化质量控制方法,包括LLM-as-a-judge,难以检测事实上的错误,需要专家审查.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
1.3K
09:20Cloud-Based Phrase Mining and Analysis of User-Defined Phrase-Category Association in Biomedical Publications
Published on: February 23, 2019
9.2K
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
背景情况:
- 电子健康记录 (EHR) 包含重要的临床数据,但难以处理.
- 大型语言模型 (LLM) 为总结EHR数据提供了一个有希望的解决方案,以帮助医生.
- 自动化质量控制对于将LLM总结工具整合到临床实践中至关重要.
研究的目的:
- 评估LLM生成的医学摘要的自动化质量控制的可行性和局限性.
- 在没有专家参与的情况下评估自动指标和LLM-as-a-judge方法.
主要方法:
- 六个开源的LLM从30个EHR文本样本中生成了摘要.
- 总结使用标准指标 (BLEU,ROUGE,METEOR,BERTScore) 和LLM-as-a-judge进行了评估.
- 标准包括相关性,完整性,冗余性,连贯性,语法,术语和幻觉检测.
- 专家评估使用相同的标准进行了比较.
主要成果:
- 在医学数据总结方面,LLM具有显著的潜力.
- 无论是自动指标还是LLM法官都无法可靠地检测事实错误或语义扭曲 (幻觉).
- 在LLM总结质量评分和有关相关性的专家意见之间观察到0.688的皮尔森相关性.
结论:
- 完全自动化医疗摘要的质量评估仍然是一个重大挑战.
- 未来的研究应该优先考虑幻觉检测方法,并探索更大,更专业的医学文本LLM.
- 将检索增强生成 (RAG) 集成到LLM-as-a-judge架构中需要进一步调查.
