对医疗保健中的大型语言模型应用进行了广泛的审查

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 自然语言处理自然语言处理.

背景情况:

• 快速推进和发布生成型大语言模型 (LLM),以ChatGPT为例,在医疗保健领域激发了大量的兴趣和采用.
• 在各种医疗保健领域,LLM提供了潜在的好处,需要对其当前的应用和性能有全面的了解.

研究的目的:

• 进行对检查大型语言模型 (LLM) 在医疗保健应用中的表现的研究进行范围审查.
• 确定在医疗保健领域的LLM研究中使用的主要应用,自然语言处理 (NLP) 任务和模型.
• 评估目前LLM医疗保健研究中使用的评估指标.

主要方法:

• 一个系统的范围审查,对415项在PubMed.index中索引的研究进行了系统的范围审查.
• 这些研究发表于2023年1月至2024年7月之间.
• 分析重点是应用领域,NLP任务,特定的LLM模型和绩效指标.

主要成果:

• 在医疗保健领域的LLM应用是多样化的,包括临床决策 (26.7%),患者信息 (23.9%),教育 (18.1%),研究 (16.1%) 和工作流程支持 (12.5%).
• 主要的自然语言处理 (NLP) 任务包括问答 (36.1%),文本分类 (27.5%) 和文本生成 (26.3%).
• GPT-4是占主导地位的模型 (51.3%),准确性是最常见的性能指标,而安全性和效率的评估较少.

结论:

• 大型语言模型 (LLM) 在许多医疗保健应用中显示出显著的潜力,这是NLP的进步所推动的.
• 目前在医疗保健中LLM的评估格局主要侧重于准确性,需要对安全性和效率进行更强有力的评估.
• 标准化的评估框架对于LLM在临床实践和医疗保健工作流程中负责任有效地整合至关重要.