评估大型语言模型作为考萨基病医疗咨询中的辅助工具
Chunyi Yan1,2, Zexi Li3, Yongzhou Liang1,2
1Department of Pediatric Cardiology, West China Second University Hospital, Sichuan University, Chengdu, China.
Frontiers in artificial intelligence
|April 15, 2025
概括
大型语言模型 (LLM) 对川崎病 (KD) 信息有希望,但由于质量不同,需要谨慎使用. 克劳德3.5索内特提供了卓越的准确性,而双子座1.5Pro在KD患者教育的可理解性方面表现出色.
科学领域:
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
- 儿科健康信息系统
背景情况:
- 川崎病 (KD) 给医疗保健提供者和家长带来了诊断和管理的复杂性.
- 人工智能的进步,特别是大型语言模型 (LLM),为医疗信息传播提供了潜在的支持.
- 评估LLM在回答临床相关的KD问题方面的表现对于安全有效的应用至关重要.
研究的目的:
- 评估和比较不同LLM的适当性和可理解性,以回答川崎病 (KD) 问题.
- 评估各种提示策略 (不提示,家长友好,医生级) 对LLM响应质量的影响.
- 确定最佳的LLM和提示组合,以提供可靠的KD信息.
主要方法:
- 关于川崎病 (KD) 的25个临床相关问题被提出给ChatGPT-4o,Claude 3.5 Sonnet和Gemini 1.5 Pro.
- 采用了三个提示策略:没有提示 (NO),父母友好 (PF) 和医生级 (DL).
- 答案使用包括信息质量等级,全球质量量表 (GQS),Flesch阅读方便 (FRE),准确性和可理解性在内的指标进行评估.
主要成果:
- 在LLM响应质量,准确性和可理解性 (p < 0.001) 中观察到显著差异.
- 克劳德 3.5 索内特表现出最高的准确性 (51.1%的正确答案) 和GQS (中位数5.0).
- 双子 1.5 Pro实现了最高的可理解性 (80.4%) 和FRE得分 (31.5);父母友好 (PF) 提示产生了最可接受的反应 (97.3%).
结论:
- 对于川崎病 (KD) 信息来说,LLM具有很大的潜力,但由于质量差异和错误信息风险,需要谨慎使用.
- 对于准确性而言,建议使用克劳德 3.5 索内特,而为了易理解性,推使用双子座 1.5 Pro.
- 建议父母寻找KD信息,强调需要持续改进AI.
相关概念视频
Assessment of Airway, Skin Color, and Use of Accessory Muscles
924
A thorough assessment of respiratory health is paramount in clinical settings to identify and manage respiratory distress and ensure adequate oxygenation. This article elaborates on the critical aspects of respiratory evaluation, including airway assessment, skin color examination, and the observation of accessory muscle use, which are integral to effectively diagnosing and managing patients with respiratory conditions.
Introduction
The initial evaluation of a patient's respiratory system...
Introduction
The initial evaluation of a patient's respiratory system...
924
Methods of Documentation VI: Case Management Model
543
The case management model is a multidisciplinary approach that involves healthcare professionals from diverse disciplines, such as physicians, nurses, therapists, social workers, and pharmacists, working collaboratively to address the various needs of patients. Each healthcare professional brings unique expertise and perspectives, contributing to a more comprehensive understanding of the patient's condition and tailoring treatment plans accordingly.
For example, a patient with a chronic...
For example, a patient with a chronic...
543


