提高临床指南的可理解性:开发和评估基于GPT-4的管道
Matthew D Jones1, Melissa Torgbi2, Harish Tayyar Madabushi2
1Department of Life Sciences, University of Bath, Claverton Down, Bath, BA2 7AY, United Kingdom, 44 1225383829.
大型语言模型 (LLM) 可以提高临床指南的可读性,但需要仔细审查准确性. 需要进一步的研究来将LLM与用户测试相结合,以提高指南安全性.
科学领域:
- 医疗信息学 医疗信息学
- 临床药房 临床药房
- 医疗保健中的人工智能
背景情况:
- 临床指南对于药物安全至关重要,但它们的复杂性阻碍了理解,并导致错误.
- 大型语言模型 (LLM) 提供了简化复杂医学文本的潜力,但它们对临床指导方针和相关风险 (例如幻觉) 的应用尚未得到充分探索.
研究的目的:
- 开发和评估一个LLM管道,以提高临床指南的可读性.
- 确保在LLM驱动的修订过程中保留关键内容.
- 为了比较基于LLM的修订与手动编辑和用户测试.
主要方法:
- 基于GPT-4的管道应用于国家卫生服务注射药物指南 (IMG).
- 用户测试建议为指南作者提供提示信息.
- 使用指标 (SMOG,Flesch-Kincaid) 和专家药剂师评级来衡量可读性.
- 使用BERT分数和药剂师审查来评估内容相似性.
主要成果:
- 经过LLM修订的指导方针与原始指导方针具有很高的语义相似性 (BERT分数为0.88-0.96).
- 可读性通过LLM修订 (SMOG等级) 显著提高,与手动编辑相比.
- 专家评价更喜欢LLM修订版本的可理解性.
- 在子节的子集中注意到了一些微小的内容差异 (遗漏,添加,意义变化).
结论:
- 当前的LLM可以提高指导方针的可读性,但需要对修订后的内容进行细致的验证.
- 在增加手动用户测试以提高临床指南安全性方面,LLM显示出前景.
- 需要进一步调查,以优化LLM集成到指南开发工作流程中.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
09:34Targeted Next-generation Sequencing and Bioinformatics Pipeline to Evaluate Genetic Determinants of Constitutional Disease
Published on: April 4, 2018
相关概念视频
Guidelines for Writing Outcome
Patient outcomes reflect the patient's response to the goal rather than what the nurse aims to achieve. Terminology should be observable and measurable to avoid the reader's interpretation. The desired outcome should be realistic and achievable in the designated care timeframe. Expected outcomes should align with adjunctive therapies. The outcome should enhance care...
Improving Translational Accuracy
Improving Translational Accuracy
Methods of Documentation VI: Case Management Model
For example, a patient with a chronic...
Preclinical Development: Overview
Methods of Documentation III: PIE
