人工智能聊天机器人 (ChatGPT) 的进展,用于儿童心脏病学教育知识评估
Michael N Gritti1,2, Hussain AlTurki3,4, Pedrom Farid5,6
1Division of Cardiology, The Labatt Family Heart Centre, The Hospital for Sick Children, 555 University Ave, Toronto, ON, M5G 1X8, Canada. michael.gritti@sickkids.ca.
Pediatric cardiology
|January 3, 2024
概括
在小儿心脏病知识测试中,ChatGPT 4.0显著优于ChatGPT 3.5. 这表明医疗教育中的AI发展迅速,ChatGPT 4.0在专业医疗评估中表现更好.
科学领域:
- 人工智能的人工智能
- 医学教育 医学教育
- 儿童心脏病学 儿童心脏病学
背景情况:
- 包括ChatGPT在内的人工智能 (AI) 聊天机器人正在改变技术互动.
- 人工智能在医疗领域拥有巨大的潜在应用.
- 之前的研究表明,人工智能聊天机器人可以提高一般医学检查的性能.
研究的目的:
- 评估和比较ChatGPT 3.5和ChatGPT 4.0.0的性能.
- 评估人工智能模型之间的儿科心脏病学知识的改进.
主要方法:
- 聊天GPT 3.5和4.0在88个基于文本的多选择题上进行了测试,这些问题来自儿科心脏病委员会审查教科书.
- 问题涵盖了11个子专业主题,不包括非文本模式.
- 统计分析使用了一个未配对的双尾t测试.
主要成果:
- 聊天GPT 4.0实现了66%的准确率 (58/88个正确答案).
- 聊天GPT 3.5实现了38%的准确率 (33/88个正确答案).
- 在所有主题中,ChatGPT 4.0显著超过了ChatGPT 3.5 (p < 0.0001).
结论:
- 在儿科心脏病知识评估中,ChatGPT 4.0 显示了与ChatGPT 3.5 的实质性改进.
- 人工智能模型显示专业医疗教育工具的快速发展.
- 虽然还没有在子专业的专业知识,AI性能正在迅速发展.
