人工智能平台对莫斯微图外科手术中患者生成问题的实用性:一个多国,盲目的专家小组评估评估

科学领域:

• 皮肤病学 皮肤病学
• 人工智能的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 人工智能 (AI) 和大型语言模型 (LLM) 正在改变患者的自我教育.
• 现有关于皮肤病学AI的研究缺乏对AI多样化角色和意见的全面评估.
• 这项研究评估了LLM作为莫斯微图外科手术 (MMS) 的患者教育工具.

研究的目的:

• 评估LLM产生的响应对莫斯微图外科手术患者教育的适当性,充分性和准确性.
• 通过验证的尺度来评估LLM响应的可理解性.
• 告知皮肤科医生关于LLM在患者护理中的能力和局限性.

主要方法:

• 从谷歌提取了常见的莫斯微图外科手术 (MMS) 患者问题.
• 向两个LLM和谷歌的搜索引擎提交问题.
• 15名MMS外科医生评估了反应的适当性,临床充分性和准确性,使用经过验证的可理解度量表.

主要成果:

• 大多数LLM回复被评为适当的患者信息来源.
• 75%的答案被认为大多准确或更高,ChatGPT显示了最高的平均准确度.
• 只有33%的答案被认为足以用于临床实践,并且需要10年级的阅读水平才能理解.

结论:

• 由LLM生成的内容在很大程度上适合和准确用于莫斯微图外科手术 (MMS) 的患者教育.
• 由于复杂的语言和信息差距,LLM可能缺乏直接临床应用所需的充分性.
• 皮肤科医生应该意识到这些局限性,因为LLM的使用越来越普遍.