聊天GPT是否准备好进入黄金时段? 人工智能在模拟的加拿大泌尿病学委员会考试中的表现

科学领域:

• 医学教育 医学教育
• 人工智能的人工智能
• 泌尿器科 泌尿器科 泌尿器科 泌尿器科

背景情况:

• 生成型人工智能 (AI) 越来越多地用于临床环境和医疗培训.
• 聊天GPT在各种医疗认证考试中表现良好.
• 人工智能在专业医疗领域的能力需要持续评估.

研究的目的:

• 为了评估ChatGPT 4在模拟加拿大泌尿病学委员会考试的多选择性考试上的表现.
• 为了比较人工智能的表现与毕业泌尿科医生居民的分数.

主要方法:

• 2022年加拿大泌尿器科委员会式多选项检查对ChatGPT 4进行了管理.
• 人工智能的表现与29名毕业泌尿外科住院医生的分数进行了比较.

主要成果:

• 聊天GPT 4 在考试中获得了46%的分数.
• 这一分数明显低于居民的平均分数 (62.6%) 和中位数 (62.7%),将AI置于第六百分点.
• 性能因主题而异,在瘤学 (35%) 和创伤/重建 (17%),得分明显较低.

结论:

• 目前ChatGPT 4的性能不足以进行加拿大泌尿器科委员会考试模拟.
• 进一步评估不断发展的生成人工智能模型是必要的,因为它们被训练在更专业的医疗内容上.