评估人工智能驱动的大型语言模型的有效性 应用在传播适当和可读的健康信息在泌尿病学中的应用

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 泌尿器科 泌尿器科 泌尿器科 泌尿器科

背景情况:

• 互联网是患者医疗信息的主要来源.
• 自然语言处理器 (NLP) 正在成为医疗查询传统搜索引擎的替代品.
• 在医疗保健中,NLP产生的内容对于患者理解的适用性仍然在很大程度上未被评估.

研究的目的:

• 评估NLP产生的响应对泌尿学相关的医学调查的适当性和可读性.
• 评估患者使用人工智能生成的医疗信息的质量.

主要方法:

• 根据谷歌趋势生成了18个与泌尿病相关的患者问题.
• 聊天GPT被用来产生对这些问题的反应跨瘤,良性和紧急情况的类别.
• 委员会认证的泌尿科医生评估了响应的适当性 (准确性,全面性,清晰性),并使用Flesch阅读易度和Flesch-Kincaid等级水平来测量可读性.

主要成果:

• 18个NLP产生的答案中有14个 (77.8%) 被认为是适当的,清晰度是一个强有力的因素.
• 泌尿科医生发现的主要局限性是忽略了有时至关重要的信息.
• 可读性得分表明阅读等级水平高 (平均13.5),这表明患者理解的潜在障碍.

结论:

• 虽然NLP在产生医疗信息方面表现出了显著的能力,但目前的局限性需要进一步改进.
• 在信息和可读性挑战中发现的差距凸显了在患者广泛采用之前需要谨慎.
• 为了确保NLP作为患者医疗信息的可靠来源的安全性和有效性,进一步开发至关重要.