评估聊天GPT作为前列腺癌患者教育工具的有效性:多度评估

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 瘤学患者教育 瘤学患者教育

背景情况:

• 人工智能 (AI) 聊天机器人越来越多地被医疗保健专业人员和患者用于个性化健康信息.
• 准确的患者教育对于有关前列腺特异性抗原 (PSA) 查和治疗的明智决策至关重要.
• 严格评估AI聊天机器人的医疗信息准确性和可靠性是必不可少的.

研究的目的:

• 评估ChatGPT-4响应常见前列腺癌患者查询的质量,准确性和可读性.
• 评估人工智能产生的内容是否适用于瘤学患者教育.

主要方法:

• 根据文献和谷歌趋势,制定了8个前列腺癌问题.
• 利用适应的PEMAT-AI,全球质量评分和DISCERN-AI工具进行质量评估,由4名审核人员进行评估.
• 专家泌尿科医生 (7) 评估了AI输出的准确性,安全性,适当性,可操作性和有效性.
• 使用Flesch阅读易度,炮火雾,Flesch-Kincaid,Coleman-Liau和SMOG指数分析可读性.
• 开发了REF-AI工具来评估参考幻觉的相关性和质量.

主要成果:

• 人工智能响应显示了高度可理解性 (PEMAT-AI: 79.44%) 和良好的质量 (DISCERN-AI: 13.88;全球质量评分: 4.46/5).
• 精度 (3.96/5),安全性 (4.32/5),适当性 (4.45/5),可操作性 (4.05/5),有效性 (4.09/5) 被泌尿科医生评价为高.
• 可读性是具有挑战性的,平均为11年级水平 (Flesch阅读易度:45.97).
• 参考评估AI (REF-AI) 发现参考幻觉最小 (2/30),大多数参考 (93%) 适当补充文本,86%来自信誉良好的来源.

结论:

• 聊天GPT-4通常为前列腺癌患者教育提供高质量的响应,作为一种潜在的有价值的工具.
• 客观评估表明,人工智能生成的信息在很大程度上是可靠和适当的,尽管可读性需要改进.
• 建议进一步完善AI语言的复杂性,以改善患者的理解,并确保在瘤治疗中安全有效地使用它.