聊天机器人如何响应NCLEX-RN练习题:对谷歌双子座,GPT-3.5和GPT-4的评估

科学领域:

• 医疗保健中的人工智能
• 护理教育 技术 技术
• 自然语言处理自然语言处理.

背景情况:

• 像ChatGPT这样的大型语言模型 (LLM) 在教育中显示出潜力,但存在"幻觉"或不准确的风险.
• 正式验证对于将人工智能工具整合到专业培训中至关重要,特别是在护理等高风险领域.
• 现有的人工智能模型需要严格的评估来确定它们的可靠性用于教育目的.

研究的目的:

• 为了评估谷歌双子,GPT-3.5和GPT-4在模拟护理执照考试中的表现.
• 在专业护理环境中,比较免费和商业AI聊天机器人的准确性和可靠性.
• 在特定的护理知识领域识别AI模型的潜在弱点.

主要方法:

• 通过模拟护士执照考试的250个标准问题进行了比较分析.
• 测试了三个人工智能模型:谷歌双子 (免费),GPT-3.5 (免费) 和GPT-4 (商业).
• 绩效以正确回答问题的百分比来衡量.

主要成果:

• GPT-4表现出卓越的性能,达到92.4%的准确度 (231/250个正确答案).
• 免费聊天机器人表现相似,性能较低:谷歌双子座在73.2% (183/250) 和GPT-3.5在72% (180/250).
• 在GPT-4的最高错误率 (13.3%) 观察到的是心理社会完整性类别.

结论:

• 与免费替代品相比,商业人工智能模型如GPT-4在护理执照考试中显示出明显更高的准确性.
• 尽管总体表现很好,但GPT-4需要进一步验证,特别是在心理社会完整性等专业领域.
• 在接受护理教育之前,人工智能聊天机器人需要仔细评估,以确保可靠和安全的知识传输.