大型语言模型在治疗规划中的性能比较,用于随着时间的推移恢复内牙治疗的牙
Mohammadjavad Shirani1, Maryam Emami2
1Department of Restorative Dentistry, Maurice H. Kornberg School of Dentistry, Temple University, Philadelphia, PA, USA.
Journal of dentistry
|July 24, 2025
概括
双子座在内治疗牙的修复性治疗规划方面表现出色,优于其他大型语言模型 (LLM). 然而,没有一个LLM实现了完美的一致性,这表明在临床决策中需要人类监督.
科学领域:
- 人工智能在牙科中的应用
- 临床决策支持系统 临床决策支持系统
- 牙周内科治疗计划 牙周内科治疗计划
背景情况:
- 大型语言模型 (LLM) 越来越多地被用于临床应用.
- 评估LLM在专业领域的表现,如内牙修复治疗计划至关重要.
- 了解随着时间的推移和接触专家数据的LLM响应变化是必不可少的.
研究的目的:
- 为了比较五个领先的LLM在内牙治疗规划中的表现.
- 评估修复治疗规划场景中的LLM准确性和完整性.
- 评估重复暴露和专家示例对LLM反应的影响.
主要方法:
- 五个LLM (ChatGPT 4.5,DeepSeek R1,Gemini 2.5 Pro,Claude 3.7 Sonnet,微软副驾驶) 进行了测试.
- 用了25个案例场景和39项检查清单进行评估.
- 在三个星期的时间里,LLM被盲目评估者评估,有和没有专家响应示例.
主要成果:
- 与DeepSeek和微软Copilot相比,Gemini 2.5 Pro在准确性和完整性方面表现出了卓越的性能.
- 随着时间的推移,Claude 3.7 Sonnet显示了显著的准确性改进.
- 双子座和克劳德在接触专家示例后显示出更高的完整性,但没有LLM实现完美的重复性或始终完整/准确的响应.
结论:
- 在接受测试的人中,Gemini 2.5 Pro是最有效的内牙修复治疗规划LLM.
- 深度搜索R1表现出最低的性能.
- 目前的LLM应该被用作辅助工具,由于一致性和完整性的局限性,需要专业的人类监督.
