评估ChatGPT在回答有关过敏性鼻炎和慢性鼻炎的问题上的表现
概括
聊天GPT准确地回答了超过80%的过敏性鼻炎 (AR) 和慢性鼻炎 (CRS) 问题. 对于AR来说,GPT-4的表现更好,GPT-4对AR的患者问题产生了更高的准确性.
科学领域:
- 人工智能在医学中的应用
- 医疗信息学 医疗信息学
- 耳鼻喉科 耳鼻喉科 耳鼻喉科
背景情况:
- 过敏性鼻炎 (AR) 和慢性鼻炎 (CRS) 是常见的疾病.
- 患者越来越多地在网上寻找健康信息,包括人工智能生成的内容.
- 人工智能聊天机器人对特定疾病的准确性需要评估.
研究的目的:
- 评估ChatGPT (GPT-3.5和GPT-4) 在回答与过敏性鼻炎和慢性鼻炎有关的问题的准确性.
- 为了比较不同的ChatGPT版本和问题类型的性能.
主要方法:
- 采用了横截面研究设计.
- 189个AR和242个CRS问题作为独立提示被输入GPT-3.5和GPT-4.
- 两位高级鼻科教授独立对答案的准确性进行了分级,第三位审查员进行了裁决.
主要成果:
- 聊天GPT总体表现令人满意,准确回答了80%以上的问题.
- 与GPT-3.5.5相比,GPT-4在AR问题上的准确性明显更高.
- 患者提出的AR问题在GPT-4中具有更高的准确性;这在CRS或GPT-3.5.5中没有观察到.
- 聊天GPT在基础知识和预防方面表现出色,但在最近的进步方面遇到了困难.
- 无论问题是用英语还是用中文,准确度都是一致的.
结论:
- 聊天GPT可以有效地为AR和CRS患者提供准确的信息.
- 该研究强调了AI在医疗信息传播方面的潜力和局限性.
- 调查结果可以指导负责任地使用和进一步开发人工智能工具,用于患者教育.
