对ChatGPT 4,ChatGPT 3.5,Gemini Advanced Pro 1.5和Bard 2.0的性能评估,以解决法语语言病理学的问题

科学领域:

• 医学教育 医学教育
• 人工智能的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 数字教学增强了知识评估方法.
• 自然语言处理 (NLP) 使人工智能能够回答学生和教师的查询.
• 在医学教育中评估人工智能的表现至关重要.

研究的目的:

• 评估ChatGPT,Bard和Gemini在医学病理学考试中的表现.
• 将AI性能与2018-2022年医学学生的成绩进行比较.
• 分析处理不同类型问题和难度级别的AI能力.

主要方法:

• 分析了2018-2022年的考试数据 (分数,歧视,不一致).
• 对ChatGPT 3.5,Bard 2.0,ChatGPT-4和Gemini 1.5.5进行了七十个病理学考试问题.
• 人工智能和学生分数进行了比较;评估了问题区分能力和聊天机器人的可靠性.

主要成果:

• 较新的AI模型 (ChatGPT-4,Gemini 1.5) 在整体得分和多重答案问题上表现优于较旧的模型和学生.
• 人工智能在分辨能力较低的问题上表现出色,而学生在高分辨能力的问题上表现更好.
• 人工智能性能根据提示工程而有所不同;ChatGPT通常优于谷歌聊天机器人.

结论:

• 人工智能聊天机器人在医学教育中表现适度,特别是在复杂的推理方面.
• 与谷歌聊天机器人 (Bard,Gemini) 相比,ChatGPT显示出更高的性能.
• 在使用NLP以法语生成问题方面仍然存在挑战,包括幻觉和医疗不准确.