人工智能聊天机器人提供的信息质量围绕头癌重建手术:ChatGPT4和Claude2之间的比较分析
Paolo Boscolo-Rizzo1, Alberto Vito Marcuzzo1, Chiara Lazzarin1
1Department of Medical, Surgical and Health Sciences, Section of Otolaryngology, University of Trieste, Trieste, Italy.
概括
这项研究比较了人工智能聊天机器人ChatGPT4和Claude2的头癌重建手术信息. 聊天GPT4为一些查询提供了更简单的语言和更好的准确性,但人工智能也不能取代专业的医疗建议.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 在瘤学瘤学.
背景情况:
- 人工智能 (AI) 越来越多地用于信息检索.
- 评估人工智能生成的医疗信息的质量至关重要.
- 这项研究侧重于头癌的重建性手术.
研究的目的:
- 评估和比较ChatGPT4和Claude2在头癌重建手术中的信息质量.
- 根据准确性,清晰性,相关性,完整性,来源和有用性来评估AI响应.
- 确定人工智能生成的信息对患者和外科医生的适用性.
主要方法:
- 对ChatGPT4和Claude2.2提出了关于头癌重建手术的30个问题.
- 16名头部和部外科医生使用QAMAI问卷以5点的利克特等级来评估AI的反应.
- 使用弗莱什-金凯德等级水平 (FKGL) 评估可读性.
主要成果:
- 聊天GPT4和Claude2在准确性,清晰性,相关性,完整性和实用性方面显示了类似的总体得分.
- 克劳德2提供了优秀的来源 (p < 0.001),但ChatGPT4在针对外科医生的问题上表现出更高的准确性和完整性 (p = 0.003,p = 0.002).
- 聊天GPT4的复杂性明显较低 (FKGL 4.57与6.05,p < 0.001),93%的答案用简单的简单英语.
结论:
- 没有AI聊天机器人表现出总体优势;ChatGPT4在特定查询的准确性和全面性方面表现出色.
- 聊天GPT4的简单语言可能会提高患者的理解.
- 评估者之间存在重大分歧,这表明人工智能不能取代专业的医疗建议.
