对自身免疫性疾病临床问题的大型语言模型进行比较分析
Jing Chen1, Juntao Ma2, Jie Yu3
1State Key Laboratory of Pharmaceutical Biotechnology, School of Life Sciences, Nanjing Drum Tower Hospital, The Affiliated Hospital of Nanjing University Medical School, Nanjing University, Nanjing, China.
Frontiers in digital health
|March 18, 2025
概括
在回答自身免疫性疾病问题时,ChatGPT 4.0显著超过了其他AI模型,证明了卓越的相关性,正确性和安全性. 这突显了先进的大型语言模型 (LLM) 在临床环境中的潜力.
科学领域:
- 人工智能的人工智能
- 医疗信息学 医疗信息学
- 临床研究 临床研究
背景情况:
- 人工智能 (AI) 显示了显著的进步.
- 大型语言模型 (LLM) 正在被用于医学应用.
- 在临床环境中评估LLM绩效至关重要.
研究的目的:
- 评估LLMs在回答有关自身免疫性疾病的临床问题的表现.
- 为了比较ChatGPT 3.5,ChatGPT 4.0和Gemini的功能.
- 确定LLMs在协助医疗保健专业人员和患者方面的潜力.
主要方法:
- 对ChatGPT 3.5,ChatGPT 4.0和双子座提出了46个与自身免疫性疾病有关的问题.
- 风湿病学家对相关性,正确性,完整性,有用性和安全性进行了评估.
- 实验室专家评估了六个医学领域的反应:概念,临床特征,报告解释,诊断,预防/治疗和预后.
主要成果:
- 在所有五个质量维度上,ChatGPT 4.0显著超过了ChatGPT 3.5和Gemini.
- 聊天GPT 4.0在相关性,正确性,完整性,帮助性和安全性方面表现出卓越的表现.
- 与其他模型相比,ChatGPT 4.0在报告解释,预防/治疗和预后方面得分也更高.
结论:
- 聊天GPT 4.0在解决与自身免疫性疾病相关的复杂临床问题方面表现出卓越的能力.
- 这些发现强调了先进的LLM在增强医疗服务和临床决策方面的潜力.
- 对LLM在医疗保健中的应用进行进一步研究是有必要的.
