相关实验视频
Updated: Jun 30, 2026
07:30
Learning Modern Laryngeal Surgery in a Dissection Laboratory
Published on: March 18, 2020
8.1K
评估ChatGPT目前协助专业耳鼻喉科教育的能力
Habib G Zalzal1, Jenhao Cheng2, Rahul K Shah1
1Division of Otolaryngology-Head and Neck Surgery Children's National Hospital Washington District of Columbia USA.
OTO open
|November 29, 2023
概括
在耳鼻喉科,ChatGPT的准确性有限,特别是在多选题的问题上. 虽然性能随着重复而提高,但专家监督对于可靠的医疗信息和防止滥用至关重要.
科学领域:
- 人工智能在医学中的应用
- 耳鼻喉科 耳鼻喉科 耳鼻喉科
- 医疗教育 技术 技术 医学教育
背景情况:
- 人工智能 (AI) 的快速发展需要评估其在专业医疗领域的能力.
- 像ChatGPT (GPT-3.5) 这样的大型语言模型越来越容易获得,这引发了关于它们在医疗保健环境中的可靠性的疑问.
- 评估AI在耳鼻喉科的表现至关重要,因为该领域依赖事实回忆和批判性分析.
研究的目的:
- 量化评估ChatGPT-3.5在回答复杂的耳鼻喉科问题的准确性.
- 将人工智能生成的答案与专家耳鼻喉科医生评估进行比较.
- 确定ChatGPT与耳鼻喉科专家知识之间的一致性.
主要方法:
- 使用ChatGPT-3.5平台使用横截面调查设计.
- 两位经过董事会认证的耳鼻喉科医生制定了60个基于文本的问题 (开放式和多选题).
- 专家对AI的答案进行了准确性评估 (正确,部分正确,不正确),并计算了评价者之间的一致性.
主要成果:
- 在最初的开放式问题上,ChatGPT实现了56.7%的完全准确率,在重复时提高到73.3% (修正后的协议为88.8%).
- 人工智能模型在多选题上表现较差,准确率仅为43.3%.
- 对于开放式问题 (P < .001) 发现了显著的一致性,但性能因问题类型而异.
结论:
- 聊天GPT-3.5并不总是为复杂的耳鼻喉科问题提供准确的答案.
- 人工智能在医学教育和临床环境中的潜在滥用需要专业社会关注.
- 专家临床判断对于确保准确性和减轻AI幻觉等风险至关重要.
