人工智能聊天机器人在牙科植入学中的比较性能:洞察力和局限性
Sultan Merve Uçar1, Selin Gaş2, Rafat Sasany3
1Department of Prosthodontics, Faculty of Dentistry, Gelişim Üniversitesi, Istanbul, Turkey. s.merveucr@gmail.com.
BMC oral health
|December 17, 2025
概括
像Gemini 1.5 Pro,Claude 3.5和ChatGPT-4o这样的大型语言模型在肌肉植入学中显示出适度的AI性能. 虽然双子座的得分略高,但差异很小,这凸显了对面外科人工智能应用的专家监督的需要.
科学领域:
- 口腔和牙面部外科手术
- 人工智能在医学中的应用
- 牙科植入物学 牙科植入物学
背景情况:
- 大型语言模型 (LLM) 越来越多地被用于教育和临床支持角色.
- 肌植入学提出了复杂的场景,需要高精度和临床相关性.
- 评估高级LLM在专门的外科领域的表现至关重要.
研究的目的:
- 评估ChatGPT-4o,Claude 3.5和Gemini 1.5 Pro. 的性能,准确性和临床相关性.
- 确定这些人工智能工具作为口外科手术中的教育或临床决策支持系统的潜力.
- 为了比较领先的LLMs在回答专家生成的关于肌植入物学的问题方面的能力.
主要方法:
- 由四位专家口腔和面外科医生开发的38个标准化问题.
- 由五个校准的临床评分员使用DISCERN,GQS和5分准确度标题对LLM响应进行独立评估.
- 使用非参数测试 (克鲁斯卡尔-瓦利斯,邦费罗尼校正) 和斯皮尔曼相关性进行统计分析;通过ICC评估评价者之间的可靠性...2,1).
主要成果:
- 双子 1.5 Pro 在响应质量和准确性方面的平均得分略高.
- 克劳德3.5和ChatGPT-4o表现出类似的性能.
- 所有模型都产生了可读和临床相关的内容,但深度和特异性各不相同;绝对得分差异很小.
结论:
- 目前的LLM对复杂的植入物学查询具有适度但不一致的能力.
- 双子1.5 Pro,克劳德3.5和ChatGPT-4o之间的边际性能差异不太可能在实践中显著.
- 持续验证,透明的模型版本和专家监督对于安全融入牙科教育和临床实践至关重要.
