评估人工智能聊天机器人的能力,以回答面向患者的关于整形手术的常见问题
Ezgi Yüceer-Çetiner1, Dilara Kazan1, Mobin Nesiri2
1Department of Oral and Maxillofacial Surgery, School of Dental Medicine, Bahçeşehir University, Istanbul 34357, Turkey.
Healthcare (Basel, Switzerland)
|September 13, 2025
概括
双子 2.5 Pro 提供了最适合临床和同情的响应,对整形手术常见问题,超越了ChatGPT-4和Claude Sonnet 4. 虽然ChatGPT-4的可读性更高,但Gemini为患者教育提供了更好的平衡.
科学领域:
- 医疗保健中的人工智能
- 自然语言处理自然语言处理.
- 医疗教育 技术 技术 医学教育
背景情况:
- 越来越多地使用人工智能聊天机器人来检索患者信息.
- 需要评估AI聊天机器人在专业医疗领域的性能.
- 整形外科信息需要准确性,同理心和清晰度.
研究的目的:
- 评估ChatGPT-4,Gemini 2.5 Pro和Claude Sonnet 4的常见问题,用于整形手术常见问题.
- 评估聊天机器人的临床适用性,同情心,可读性和整体质量.
- 确定AI聊天机器人适合在外科背景下患者教育.
主要方法:
- 向每个AI聊天机器人展示了二十个土耳其整形外科常见问题.
- 口腔和面外科医生使用全球质量评分 (GQS) 和同情度量表来评估反应.
- 通过Ateşman可读性公式评估可读性;采用双盲评估.
主要成果:
- 双子 2.5 Pro在GQS,同理心和临床适当性 (p < 0.001) 中显著超过了GPT-4和Claude.
- GPT-4显示出优越的可读性 (p < 0.001),但缺乏同情心和安全指导.
- 在同理心和感知响应质量之间发现了中等的正相关性 (r = 0.454; p = 0.044).
结论:
- 人工智能聊天机器人之间存在显著的性能差异,用于手术患者教育.
- 双子 2.5 Pro 提供了最平衡的,临床上可靠的对整形手术的反应.
- 特定背景的聊天机器人选择和临床监督对于安全的AI通信至关重要.
