neuroGPT-X:朝着一个临床准备好的大型语言模型发展
Edward Guo1,2, Mehul Gupta1, Sarthak Sinha1
11Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada.
Journal of neurosurgery
|April 2, 2024
概括
语境丰富的大型语言模型 (LLM) 在治疗前置神经瘤方面表现与神经外科专家相当或优于神经外科专家,提供更快,更可靠的信息. 一个新的平台,neuroGPT-X,整合了引用和记忆,以实时提供临床支持.
科学领域:
- 神经外科 神经外科
- 人工智能的人工智能
- 医疗信息学 医疗信息学
背景情况:
- 静脉瘤管理面临复杂的挑战,往往缺乏基于证据的最终共识.
- 神经外科专家对于决策至关重要,但人类记忆的局限性可能会影响护理点的信息检索.
- 大型语言模型 (LLM) 为增强临床决策支持系统提供了潜力.
研究的目的:
- 为了评估一个上下文丰富的LLM与神经外科专家在回答关于前置神经瘤管理问题的表现.
- 开发和评估一个基于聊天的平台 (neuroGPT-X) 实时,可靠的临床信息交付与引用和记忆能力.
主要方法:
- 通过网络抓取创建了一个数据集.
- 八名国际神经外科专家制定了问题,并评估了LLM的答案 (盲目).
- 开发了neuroGPT-X平台,并对103个关于前置神经瘤护理的共识陈述进行了评估.
主要成果:
- 背景丰富的LLM在准确性,连贯性,相关性和彻底性方面表现比专家更好或更好.
- 与人类专家相比,LLM提供了明显更快的响应 (p < 0.01).
- 背景丰富的LLM与95%的共识陈述保持一致,尽管专家们对细微的案件的可靠性表示担忧.
结论:
- 背景丰富的LLM作为医疗服务点的医疗资源显著有前途,特别是在共识有限的领域.
- 开发的平台neuroGPT-X旨在通过提供准确,引用的信息和减轻记忆局限性来增强临床支持.
- 这项工作作为扩大跨医学专业的LLM应用程序的基础,以进行专家级对话和基于证据的支持.
