在儿科发烧管理中评估大型语言模型:一个双层研究
Guijun Yang1, Hejun Jiang1, Shuhua Yuan1
1Department of Respiratory Medicine, Shanghai Children's Medical Center, Shanghai Jiao Tong University School of Medicine, Shanghai, China.
Frontiers in digital health
|September 19, 2025
概括
大型语言模型 (LLM) 进行了评估,以回答儿科发烧问题. 医生更喜欢ChatGPT模型,但亲属发现没有显著差异,强调需要更清晰的LLM沟通.
科学领域:
- 人工智能在医学中的应用
- 儿科健康信息学 儿科健康信息学
- 自然语言处理自然语言处理.
背景情况:
- 儿童发烧是家长们常见的担忧,导致经常去看医生.
- 大型语言模型 (LLM) 显示了医疗通信的潜力,但它们在儿科发烧中的使用尚未得到充分研究.
- 评估LLM反应需要医疗专业人员和患者家属的观点.
研究的目的:
- 在回答儿科发烧问题时比较四个LLM (ChatGPT3.5,ChatGPT4.0,YouChat,Perplexity) 的表现.
- 评估医生和儿科患者的亲属如何评估LLM产生的答案.
- 识别LLM对复杂儿科发烧查询的响应中的差异和相似之处.
主要方法:
- 向四位LLM提出了30个与儿科发烧有关的问题.
- 20名医生在四个预定义的维度中对LLM的反应进行了评分.
- 儿科亲属评估了一组子集的反应,一些重新审视更深入的见解.
- 使用统计分析,包括Tukey后期测试,以确定显著差异.
主要成果:
- 医生评价ChatGPT3.5和ChatGPT4.0比YouChat和Perplexity在所有维度上都高.
- 根据医生的说法,准确性是所有LLM的最高得分维度.
- 儿科亲属没有发现LLM响应质量的显著差异.
- 与亲属的再访表明,在理解和分析LLM成果方面存在挑战.
结论:
- 基于互联网的LLM (YouChat,Perplexity) 并没有像预期的那样增强医疗问答能力.
- 患者缺乏医学知识和LLM答案结构阻碍了理解.
- 未来为患者使用的LLM开发应该优先考虑清晰,核心点和易于理解的语言.
相关概念视频
01:22Methods of reducing fever
1.2K
The signs and symptoms of fever include hot and dry skin, flushed face, thirst, muscle aches, anorexia, headache, tachycardia, tachypnea, and fatigue. Elevated body temperature is reduced using two methods: pharmacological and nonpharmacological. Proper identification and treatment of the root cause of a fever is of utmost importance.
Pharmacological Methods of Reducing Fever:
Pharmacological Methods of Reducing Fever:
1.2K
01:26Patterns of Fever
3.8K
Before understanding the types and patterns of fever, it is essential to know its phases.
3.8K