开发一种特定于肝病的大型语言模型聊天接口,使用检索增强生成.
Jin Ge1, Steve Sun2, Joseph Owens2
1Department of Medicine, Division of Gastroenterology and Hepatology, University of California-San Francisco, San Francisco, California, USA.
Hepatology (Baltimore, Md.)
|March 7, 2024
概括
我们开发了LiVersa,一种针对肝脏疾病的大型语言模型 (LLM),使用检索增强生成 (RAG). 在肝病学方面,LiVersa的准确性很高,但在临床部署方面需要进一步改进.
科学领域:
- 医疗信息学 医疗信息学
- 人工智能在医学中的应用
- 临床决策支持 临床决策支持
背景情况:
- 商用大型语言模型 (LLM) 没有针对临床应用进行优化,可能会产生不准确的信息.
- 检索增强生成 (RAG) 是一种使用特定数据定制LLM的方法,有可能减少错误.
- 开发专门的LLM对于安全有效的临床信息处理至关重要.
研究的目的:
- 使用RAG开发一种针对肝脏疾病的LLM,名为LiVersa,使用RAG.
- 与现有的LLM和人类实习生相比,评估LiVersa在准确性,全面性和安全性方面的表现.
- 证明使用RAG来创建符合健康信息保护的临床LLMs的可行性.
主要方法:
- 通过将机构受保护的健康信息符合文本嵌入和LLM平台与RAG集成来开发LiVersa.
- 将30个美国肝病研究协会的指导文件纳入LiVersa.
- 通过对实习生进行知识评估和使用肝科医生评估对ChatGPT 4和Meta AI 2进行比较来评估LiVersa的性能.
主要成果:
- 在知识评估中,LiVersa正确地回答了所有10个问题,表现优于学员.
- 肝病学家认为LiVersa的输出比ChatGPT 4和Meta AI 2更准确.
- 与ChatGPT 4相比,LiVersa的输出被评为不那么全面和安全.
结论:
- 检索增强生成可以用于构建疾病特异性,受保护的健康信息合规的LLMs.
- LiVersa原型显示出临床应用的前景,在肝病学中显示出高精度.
- 在潜在的临床部署之前,需要对LiVersa的综合性和安全性方面进行进一步的改进.


