神经学推信的完整性和质量,由标准化场景的大型语言模型生成
1Department of Family Medicine, Police General Hospital, 492/1 Rama I Rd., Pathum Wan, Bangkok 10330, Thailand.
Medicina (Kaunas, Lithuania)
|November 27, 2025
概括
像ChatGPT这样的大型语言模型可以起草医疗推信,但它们的完整性各不相同. 虽然在语言上是正确的,但ChatGPT显示了神经病学推的临床内容的不一致性,突出了对专门AI工具的需求.
科学领域:
- 医疗保健中的人工智能
- 自然语言处理应用程序
- 医疗文档 自动化 自动化
背景情况:
- 大型语言模型 (LLM) 显示了医疗保健任务的潜力,例如起草推信.
- 专门为医疗实践培训的LLM的可用性有限.
- 关于ChatGPT在生成全面的神经学推信的能力的不确定性.
研究的目的:
- 系统地评估由ChatGPT生成的神经学推信的完整性和质量.
- 评估重点是家庭医学中常见的标准化临床场景.
主要方法:
- 使用了五种常见的神经系统情景 (头痛,记忆问题,中风/TIA,震,根性病变).
- 通过一个一致的提示,ChatGPT (GPT-4o) 通过每个场景生成了10封推信 (总共50封).
- 一位双重神经科医生/家庭医生使用30分标签评分信件的完整性和质量.
主要成果:
- 平均总得分为25.76/30,平均完成率为87%,语言/结构>90%.
- 在72%的信件中发现了内容缺口,主要是在当前疾病史和体检部分.
- 观察到信件质量的变化,归因于模型不一致性而不是场景类型.
结论:
- 聊天GPT生成神经病学推信具有高语言质量但可变的临床完整性.
- 模型不一致性,而不是场景类型,导致生成信件的变化.
- 需要为医疗文档开发专门的LLM,以改善结果和隐私.
