聊天机器人可以为患有关节疾病的患者提供准确和可读的信息吗?

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 关节疾病 (TMD) 是影响功能和患者生活质量的普遍情况.
• 患有TMD的患者往往难以找到可靠的健康信息.
• 大型语言模型 (LLM) 具有作为教育工具的潜力,但对准确性,可读性,同理心和引用完整性的担忧仍然存在.

研究的目的:

• 评估基于LLM的聊天机器人对患者友好的TMD查询的临床准确性,同理心和可读性.
• 评估基于LLM的聊天机器人提供的引文的真实性和可检索性.

主要方法:

• 一个横截面的in silico研究使用了23个标准化的TMD问题作为三个不同的LLM架构的提示:GPT-4,Gemini Pro和DeepSeek-V3.
• 精度由口腔医学专家确定,同理心通过专家评分,可读性使用弗莱什-金凯德指标.
• 引用可靠性与PubMed和其他权威数据库进行了验证.

主要成果:

• 在聊天机器人平台之间没有发现准确度或同情心的显著差异 (P = .2).
• 混合专家变压器 (DeepSeek-V3) 显示出卓越的可读性 (弗莱什-金凯德等级水平=12.19;P<.001).
• 基于变压器的自回归模型 (GPT-4) 呈现出最高的幻觉参考率 (47.2%),相比于多式模式 (18.8%) 和混合专家 (10.1%) 模型 (P < .001).

结论:

• 基于LLM的聊天机器人通常为TMD信息提供准确和同情的响应.
• 专家混合变压器在可读性和引用可靠性方面表现出色.
• 基于变压器的模型中高频率的伪造参考需要人类监督临床应用.