通过比较ChatGPT 4o,DeepSeek R1和Gemini 2 Pro在随着时间的推移中回答固定假牙问题的性能
1Assistant Professor, Department of Restorative Dentistry, Maurice H. Kornberg School of Dentistry, Temple University, Philadelphia, Pa.
The Journal of prosthetic dentistry
|May 23, 2025
概括
这项研究对像ChatGPT,DeepSeek和Gemini这样的AI聊天机器人进行了评估. 整体准确性很低,但ChatGPT在多选题中表现出色,ChatGPT和双子座在短答题中表现最好.
科学领域:
- 人工智能在牙科中的应用
- 用于医学教育的自然语言处理.
- 假牙知识评估 假牙知识评估
背景情况:
- 人工智能聊天机器人 (DeepSeek,ChatGPT,Gemini) 在假牙方面的准确性需要评估.
- 用户互动和学习对聊天机器人性能的影响尚不清楚.
研究的目的:
- 为了比较ChatGPT (4o),DeepSeek (R1) 和Gemini (2 Pro) 在固定假牙问题上的表现.
- 为了评估聊天机器人的性能变化超过四周,接触到正确的答案.
主要方法:
- 使用了40个固定假牙问题 (20个MC,20个SA).
- 每周都会查询聊天机器人,会话后提供正确答案,清除历史记录.
- 概括估计方程 (GEE) 分析了随着时间的推移聊天机器人的性能.
主要成果:
- 准确度在43%至71%之间,整体表现不令人满意.
- 在多选题问题上,ChatGPT和DeepSeek的表现优于Gemini.
- 双子座在简短答案问题上有所改善,在第3周表现优于DeepSeek.
结论:
- 目前的人工智能聊天机器人对假牙问题的准确性有限.
- 聊天GPT是最可靠的多选项,而聊天GPT和双子座是最好的短答案问题.
- 双子座和DeepSeek在从正确答案中学习后显示出性能改善.


