通过添加突出内容来改善大型语言模型的总结准确性:比较评估
Mahshad Koohi Habibi Dehkordi1, Yehoshua Perl1, Fadi P Deek2
1Department of Computer Science, New Jersey Institute of Technology, Newark, NJ, United States.
在通过大型语言模型 (LLM) 总结之前,突出显示电子健康记录 (EHR) 注释中的详细信息显著提高了总结的准确性和完整性. 这种方法提高了患者出院摘要的可读性.
科学领域:
- 自然语言处理自然语言处理.
- 医疗信息学 医疗信息学
- 人工智能的人工智能
背景情况:
- 美国医学协会建议简化电子健康记录 (EHR) 笔记,以提高患者的可读性.
- 大型语言模型 (LLM) 在总结EHR笔记方面表现有希望,但可能引入不准确性.
- 本研究侧重于使用LLM简化放电说明的初步步骤.
研究的目的:
- 测试LLM生成的突出排放笔记的摘要是否比原始笔记的摘要更准确.
- 评估强调详细信息对摘要质量的影响.
主要方法:
- 采用了MIMIC III的15张放电说明,并使用机器学习开发的界面术语突出显示了详细信息.
- 使用GPT-4o与快速工程生成摘要从凸显和非凸显的笔记.
- 摘要是手动评估完整性,正确性和结构完整性的.
主要成果:
- 从突出注释 (H-摘要) 中的摘要达到96%的完整性,比未突出注释 (U-摘要) 高8% (P=.01).
- H总结显示了更好的正确性,更少的错误 (2对3) 和更少的错位信息 (2对8).
- 对完整性 (P=.01) 和标题准确性 (P=.03) 观察到的统计学意义.
结论:
- 使用凸显的放电说明与LLMs和快速工程提高了摘要质量.
- 这种方法可以提高正确性,完整性和结构完整性,而不是使用未突出显示的注释.
- 突出详细信息是生成准确和简化的EHR摘要的关键步骤.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
05:22Dissociation of the Confounding Influences of Expectancy and Integrative Difficulty Residing in Anomalous Sentences in Event-related Potential Studies
Published on: May 9, 2019
相关概念视频
Improving Translational Accuracy
Discharge Summary Forms
Here's a detailed look at the key components and guidelines for preparing a discharge summary:
Techniques of Therapeutic Communication II: Focusing, Paraphrasing, and Summarizing
This therapeutic technique can also be used when a patient brings up pertinent information during a health-related conversation. The...
Histone Modification
Additional Subnuclear Structures
Master Transcription Regulators
