评估人工智能聊天机器人用于甲状腺射频切除患者教育:准确性,质量和可读性的分析

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 干预性放射学 干预性放射学

背景情况:

• 人工智能聊天机器人越来越多地被患者用于医疗信息.
• 对于特定专业的人工智能聊天机器人的性能,存在有限的比较评估.
• 这项研究评估了AI聊天机器人对甲状腺射频剥离 (RFA) 患者的查询.

研究的目的:

• 为了比较AI聊天机器人响应的质量,准确性,可读性和一致性.
• 评估四个领先的人工智能平台:ChatGPT-4,Gemini,Copilot和Perplexity. 这四个平台的目标是:
• 为了评估对关于甲状腺RFA的以患者为中心的问题的答案.

主要方法:

• 对20个关于甲状腺RFA的标准化临床问题的截面分析.
• 盲人医生使用利克特尺度对质量和准确性的评价.
• 使用已确定的指标分析响应长度和可读性.

主要成果:

• 双子AI在质量 (4.08) 和准确性 (3.76) 中获得了最高的平均分数,超过了ChatGPT和Copilot (p < 0.005).
• 聊天GPT的响应更长,更易于阅读;双子座显示得分变化最低.
• 副驾驶员和困惑排名最低;特定提示区分聊天机器人的性能.

结论:

• 人工智能聊天机器人的性能在甲状腺RFA信息方面有显著差异.
• 聊天机器人对于事实数据是可靠的,但对于复杂或基于判断的查询则不那么可靠.
• 人工智能工具应该增强,而不是取代临床医生批准的患者教育资源.