评价聊天机器人对基于文本的多选题的答案在假牙和修复牙科的评价

科学领域:

• 人工智能在牙科中的应用
• 牙科教育技术 牙科教育技术
• 在医疗保健中的自然语言处理.

背景情况:

• 人工智能 (AI) 聊天机器人在牙科等专业领域的整合正在迅速增加.
• 评估人工智能聊天机器人在回答复杂的牙科问题上的表现对于理解它们的实用性至关重要.
• 这项研究的重点是假牙和修复性牙科,牙科课程中的关键领域.

研究的目的:

• 评估三个领先的人工智能聊天机器人的响应准确性和逻辑质量:GPT-4.0,Claude-2和Llama-2.
• 为了比较他们在回答牙科委员会考试中的多选题方面的表现.
• 确定这些人工智能工具对牙科教育和实践的适用性.

主要方法:

• 使用了来自美国综合国家委员会牙科考试 (INBDE) 和英国海外注册考试 (ORE) 的191个多选题.
• 人工智能聊天机器人 (GPT-4.0,Claude-2,Llama-2) 回答了问题,他们的答案与官方答案密钥进行了比较.
• 两位牙科专家评估了人工智能生成的推理的准确性,相关性和全面性,具有很高的评价者间可靠性 (κ = 0.83).

主要成果:

• 与克劳德-2 (41.9%) 和拉玛-2 (26.2%) (p < 0.017) 相比,GPT-4.0的准确性显著提高 (65.4%).
• 此外,GPT-4.0也表现出更高的理性质量 ("正确答案,正确理性"在58.1%) 与克劳德-2 (37.2%) 和拉玛-2 (24.1%) (p < 0.017) 相比.
• 在所有测试的人工智能聊天机器人 (p < 0.001) 中,在答案准确度和理由质量方面观察到统计学上显著的差异.

结论:

• 在假牙和修复性牙科问题上,GPT-4.0在准确性和推理质量方面表现出最高的性能.
• 这些发现表明,在专业牙科领域内,人工智能聊天机器人的有效性存在显著差异.
• 需要进一步的研究来探索AI在先进的牙科教育和考试准备中的作用和局限性.