人工智能与专业标准:对英国GPT,Gemini和ENTT进行跨部门比较研究,以提供有关ENT条件的患者信息

科学领域:

• 医疗通信 医疗通信
• 卫生识字 卫生识字
• 医疗保健中的人工智能

背景情况:

• 患者信息材料对于了解医疗状况至关重要.
• 写得很糟糕的材料可能会导致患者的误解,并影响护理.
• 评估人工智能产生的健康内容对于患者安全至关重要.

研究的目的:

• 为了比较可读性,可操作性和患者教育材料的质量,关于喉科主题.
• 评估由ChatGPT,谷歌双子座和英国ENT生成的内容.

主要方法:

• 关于六种喉科疾病的内容来自英国ENT,并使用ChatGPT-4-turbo和Google Gemini 2.5 Pro.生成.
• 使用弗莱什-金凯德等级水平 (FKGL) 和弗莱什阅读易度 (FRE) 评估可读性.
• 质量通过DISCERN分数来衡量,患者参与度通过PEMAT-P (可理解性和可操作性).

主要成果:

• 英国的ENT材料的可读性明显好 (FRE: 64.6,FKGL: 7.4) 比ChatGPT (FRE: 38.8,FKGL: 11.0) 和双子座 (FRE: 38.3,FKGL: 11.9) 的可读性要好得多.
• 在DISCERN质量评分中没有发现显著差异 (ENT UK:21.3,GPT:24.7,Gemini:29.5).
• 患者可理解性 (PEMAT-P) 和可操作性得分在所有来源中都是可比的,尽管ChatGPT对声带的可理解性较低.

结论:

• 人工智能聊天机器人产生患者信息,其质量和参与度与英国ENT等既有来源相美.
• 然而,人工智能生成的内容需要明显更高的阅读水平,低于推的健康素养标准.
• 人工智能语言模型的改进是必要的,以确保患者材料是可访问和可理解的.