人工智能聊天机器人的道德和专业决策能力:评估ChatGPT在医学方面的专业能力

科学领域:

• 医学教育 医学教育
• 医疗保健中的人工智能
• 专业性评估 专业性评估

背景情况:

• 情境判断测试 (SJT) 对于评估医学教育中的非认知技能至关重要.
• 预览实践考试评估了有抱负的医学学生的专业精神和道德推理.
• 人工智能的日益复杂化需要在专业环境中评估其能力.

研究的目的:

• 在PREview实践考试中评估高级AI聊天机器人的表现.
• 将AI聊天机器人得分与历史医学院申请人数据进行比较.
• 探索AI在标准化医疗评估中的表现的影响.

主要方法:

• 在PREview实践考试中使用了经过验证的评分方法.
• 使用统计分析,包括千平方和费舍尔精确测试,进行分数比较.
• 评估了两个著名的AI模型:GPT-3.5和GPT-4.

主要成果:

• GPT-4获得了7/9 (92百分位) 的得分,GPT-3.5获得了6/9 (76百分位) 的得分.
• 这两种人工智能模型都超过了医疗申请人的平均分数5/9 (第56百分位数).
• 人工智能聊天机器人在回答考试问题的准确率超过95%.

结论:

• 人工智能聊天机器人在专业性和道德评估方面表现优于医学院申请人的平均水平.
• 这些发现表明AI在医疗保健培训和决策模拟中的潜在应用.
• 该研究强调了在先进人工智能时代解决在线评估漏洞的必要性.