人工智能聊天机器人在睡眠医学认证委员会考试中的表现:ChatGPT与谷歌Bard对比

科学领域:

• 医疗教育中的人工智能
• 在医疗保健中的自然语言处理.
• 睡眠医学 诊断 诊断 睡眠医学

背景情况:

• 人工智能 (AI) 聊天机器人越来越多地融入医学教育.
• 在专业医疗检查中评估AI性能对于安全实施至关重要.
• 美国睡眠医学认证委员会考试是睡眠医学专业知识的基准.

研究的目的:

• 为了比较评估 GPT-3.5,GPT-4 和 Google Bard 的性能.
• 评估AI能力,以回答与美国睡眠医学认证委员会考试相关的自我评估问题.
• 为了确定人工智能在睡眠医学核心知识领域的熟练程度.

主要方法:

• 使用了来自10种睡眠药物类别的301个多选项,单个最佳答案问题的数据集.
• 问题被输入到GPT-3.5,GPT-4和谷歌Bard.
• 人工智能生成的答案与美国睡眠医学学会的黄金标准答案进行了比较.

主要成果:

• 在10个类别中,GPT-4在5个类别中取得了通过分数 (>=80%).
• 总体来说,GPT-4的表现优越,得分为68.1%,明显超过了GPT-3.5 (46.8%) 和谷歌Bard (45.5%).
• 在GPT-3.5和Google Bard.之间没有观察到显著的性能差异.

结论:

• GPT-4在医疗自我评估方面显示出有前途的能力,但需要进一步验证.
• 医生必须指导人工智能开发,以确保医疗保健应用中的安全和责任.
• 持续的研究对于完善医疗认证和实践的AI工具至关重要.