对前列腺癌的信息质量和开放人工智能输出的适当性

科学领域:

• 泌尿器科 泌尿器科 泌尿器科 泌尿器科
• 人工智能的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 像Chat-GPT这样的自然语言处理 (NLP) 工具为快速检索健康信息提供了潜力.
• 评估人工智能生成的医疗信息与既定临床指南的准确性至关重要.

研究的目的:

• 评估Chat-GPT关于前列腺癌 (PCa) 的反应的准确性和适当性,与欧洲泌尿器官学会 (EAU) 2023年指南相比.
• 将人工智能生成的信息质量与专家验证的临床建议进行比较.

主要方法:

• 基于EAU 2023 PCa指南的195个问题被提出给Chat-GPT (8月3日版本).
• 两位泌尿外科专家独立地在1-4级别上评分了答案 (1:完全正确到4:完全不正确).
• 分分析按指南章节和建议级进行.

主要成果:

• 只有26%的Chat-GPT的回复是完全正确的;26%是正确但不充分的,48%包含误导性或不正确的信息.
• 准确性因章节而异,与随访和生活质量 (QoL) 相比,诊断 (19%不正确) 和治疗 (30%不正确) 的表现较差.
• 在强烈推和弱弱推之间,没有发现准确度的显著差异.

结论:

• 聊天-GPT在回答基于EAU 2023前列腺癌指南的问题时表现出不高的准确性.
• 需要进一步的研究来评估Chat-GPT的性能,在接受了针对医疗应用的专门培训后.