评估ChatGPT产生的医疗反应:一个系统的审查和元分析
Qiuhong Wei1, Zhengxiong Yao2, Ying Cui3
1Big Data Center for Children's Medical Care, Children's Hospital of Chongqing Medical University, Chongqing, China; Children Nutrition Research Center, Children's Hospital of Chongqing Medical University, Chongqing, China; National Clinical Research Center for Child Health and Disorders, Ministry of Education Key Laboratory of Child Development and Disorders, China International Science and Technology Cooperation Base of Child Development and Critical Disorders, Chongqing Key Laboratory of Child Neurodevelopment and Cognitive Disorders, Chongqing, China.
像ChatGPT这样的大型语言模型显示了医学问题的潜力,但不一致的评估方法阻碍了可靠性. 一个拟议的框架旨在改善未来的研究设计和报告,用于医疗保健中的AI.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 大型语言模型 (LLM),以ChatGPT为例,在医疗环境中越来越多地使用.
- 缺乏标准化的评估指南导致评估LLM绩效的方法不一致.
- 这需要对现有证据进行全面审查,并制定一个强大的评估框架.
研究的目的:
- 系统地审查和总结关于ChatGPT在回答医疗问题的表现的证据.
- 在当前的LLM评估研究中发现方法上的不一致性.
- 为未来对医学调查中LLM的研究提出一个评估框架.
主要方法:
- 在十个医疗数据库中进行了广泛的文献搜索,使用关键字"ChatGPT".
- 包括评估ChatGPT医疗问答性能的研究,具体排除了评论,评论,专利和预印件.
- 数据提取的重点是研究特征,问题源,对话过程,评估指标和报告的表现,这导致了LLM评估框架的建议.
主要成果:
- 对17项研究的元分析 (来自60篇审查文章) 显示,在医学查询中,ChatGPT的整体综合准确率为56% (95% CI:51%-60%).
- 在关于问题来源,调查过程和评估指标的研究中观察到显著的异质性.
- 拟议的框架突出了报告基本方法细节的缺陷,包括调查日期,ChatGPT版本和评审者之间的可靠性.
结论:
- 聊天GPT展示了医学问题答案的潜力,但研究设计的异质性和不充分的报告影响了结果的可靠性.
- 开发的评估框架提供了指导,以提高未来的研究的设计和透明度,涉及在医疗环境中LLMs.
- 标准化的报告和评估对于对医疗保健中的AI工具的可靠评估至关重要.
相关概念视频
Types of Biopharmaceutical Studies: Controlled and Non-Controlled Approaches
Non-controlled studies, commonly employed for initial exploration, lack a control group, rendering them susceptible to biases and external influences. In contrast,...
Comparing the Survival Analysis of Two or More Groups
Clinical Trials
There are four phases in a clinical trial. A phase one...
Hazard Ratio
For example, in a clinical trial...
Assessment of the Gastrointestinal System I: Subjective Data
Health History
The initial step in assessing the GI system is obtaining a comprehensive health history. This includes inquiring about the patient's history or presence of problems...
Methods of Documentation VI: Case Management Model
For example, a patient with a chronic...


