评估人工智能聊天机器人响应牙科植入物的性能常见问题:一项比较研究
Mesut Tuzlalı1, Nagehan Baki2, Kübra Aral3
1Faculty of Dentistry, Department of Prosthodontics, Inonu University, Malatya, Türkiye. mesut.tuzlali@inonu.edu.tr.
BMC oral health
|October 8, 2025
概括
五个大型语言模型 (LLM) 聊天机器人被评估了它们对牙科植入物常见问题的反应. 聊天GPT-o1和Deepseek-R1展示了最高的准确性和相关性,显示了AI.
科学领域:
- 人工智能在牙科中的应用
- 自然语言处理应用程序
- 医疗信息学 医疗信息学
背景情况:
- 评估公开可访问的大型语言模型 (LLM) 聊天机器人在提供牙科植入物治疗信息方面的性能.
- 评估人工智能对常见问题 (FAQ) 产生的答案的准确性,完整性,清晰性,相关性和一致性.
研究的目的:
- 为了比较五个领先的LLM聊天机器人的有效性 (ChatGPT-o1,Deepseek-R1,Google-Gemini-Advanced,Claude-3.5-Sonnet,Perplexity-Pro) 在响应牙科植入物常见问题时.
- 确定最可靠的人工智能工具,用于植入牙科患者教育和沟通.
主要方法:
- 使用标准化协议向每个聊天机器人提交了45个牙科植入物相关的常见问题.
- 答案由一个由四名牙科专家和一名非专业人士组成的小组使用5分利克特级别来评估.
- 在Google-Colab中使用Python进行统计分析,具有较高的评分间可靠性 (α = 0.87).
主要成果:
- 聊天GPT-o1表现出最高的整体性能,在相关性 (M=4.99),一致性 (M=4.97) 和准确性 (M=4.96) 中表现出色.
- 紧随其后的是Deepseek-R1,在完整性和相关性方面获得了很高的分数.
- 在聊天机器人之间发现了显著的性能差异 (p < 0.001),Gemini-Advanced和Perplexity-Pro在完整性和清晰度方面得分较低.
结论:
- 人工智能聊天机器人显示出作为牙科教育和有关牙科植入物的患者沟通补充工具的巨大潜力.
- 聊天GPT-o1和Deepseek-R1成为最可靠的平台,提供准确和患者友好的信息.
- 持续验证和道德监督对于将AI聊天机器人整合到临床实践中至关重要.
