评估大型语言模型在回答有关药物诱导肝损伤的常见问题上的表现
Yinuo Dong1, Zili Zhang2, Yang Zhi1
1Division of Gastroenterology and Hepatology, Renji Hospital, Shanghai Jiao Tong University School of Medicine; NHC Key Laboratory of Digestive Diseases; Shanghai Research Center of Fatty Liver Disease, Shanghai 200001, China.
大型语言模型 (LLMs) 对药物诱导性肝损伤 (DILI) 患者教育有希望. 在某些比较中,LLaMA-3.1-405B表现出色,提供了准确和安全的信息,甚至超过了医生.
科学领域:
- 肝病学和人工智能的人工智能
- 医疗教育 技术 技术 医学教育
- 临床信息学 临床信息学
背景情况:
- 药物诱导性肝损伤 (DILI) 需要强有力的患者教育,以实现最佳管理.
- 需要可扩展的患者支持工具,大语言模型 (LLM) 对DILI教育的实用性尚不清楚.
- 现有的DILI教育资源有限,凸显了创新解决方案的需要.
研究的目的:
- 系统地评估六个受欢迎的LLM在为DILI提供以患者为中心的教育方面的能力.
- 评估LLM对常见DILI查询产生的答案的准确性,全面性和安全性.
- 将LLM的表现与医生的反应进行比较,并确定需要改进的领域.
主要方法:
- 二十八个与DILI相关的问题由肝脏病学家和患者提供了意见.
- 六个LLM (GPT-4,GPT-3.5,Claude-2,Claude-1.3,Gemini,LLaMA-3.1-405B) 的答案由肝病学家对准确性,全面性和安全性进行了评估.
- 进行了自动化可读性评估和专家领导的错误分析,包括直接比较与医生响应.
主要成果:
- 与其他LLM相比,LLaMA-3.1-405B在准确性,全面性和安全性方面表现出卓越的表现.
- O1-预览排名第二,而GPT-3.5-Turbo在关键指标中表现最差.
- 在直接比较中,LLaMA-3.1-405B和o1-preview的表现优于住院医生和初级保健医生;信息遗漏是主要的错误类型.
结论:
- 高效的LLM,特别是公开可访问的LLM,有可能提供准确和安全的DILI健康信息.
- 基于LLM的工具可以有效地补充临床沟通,并加强肝病学患者教育.
- 进一步的细化和临床监督是必不可少的,但LLMs为改善DILI患者的健康素养提供了一个有希望的途径.
相关概念视频
Effect of Hepatic Disease on Pharmacokinetics: Pathophysiologic Assessment and Liver Function Test
Effect of Hepatic Disease on Pharmacokinetics: Drug Dosing and Hepatic Blood Flow
Effect of Hepatic Disease on Pharmacokinetics: Dose Adjustments Due to Hepatic Impairment
Effect of Hepatic Disease on Pharmacokinetics: Active Drug, Metabolite and Fraction of Metabolized Drug
Factors Affecting Drug Response: Overview
Physiological Pharmacokinetic Models: Incorporating Hepatic Transporter-Mediated Clearance
A recent model describes pravastatin's hepatobiliary excretion,...


