大型语言模型的准确性,可读性和可理解性,以向公众提供前列腺癌信息

科学领域:

• 人工智能在医学中的应用
• 医疗保健的自然语言处理.
• 医疗信息学 医疗信息学

背景情况:

• 像ChatGPT一样,生成预训练模型 (GPT) 聊天机器人越来越受欢迎.
• 现有研究评估了GPT模型的医疗信息,但没有一个研究从医生和公众的角度关注前列腺癌,以患者优化的输出.
• 这项研究评估了ChatGPT对前列腺癌信息的质量,考虑到医生的准确性和公众的理解力.

研究的目的:

• 评估ChatGPT 3.5对前列腺癌问题的答案的准确性,完整性和清晰度.
• 评估从ChatGPT响应中生成的简化非专业人士摘要的可读性和可理解性.
• 为了衡量医生和公众对GPT产生的前列腺癌信息的看法.

主要方法:

• 使用了来自谷歌趋势的9个前列腺癌问题.
• 聊天GPT 3.5生成了回复,然后将其简化为六年级的阅读水平.
• 泌尿外科提供者评价了原始答案;独立审稿人评估了简化摘要的正确性.
• 通过亚马逊机械土耳其 (MTurk) 的公众评估评估了清晰度和理解.

主要成果:

• 71.7%的泌尿器科提供者认为GPT输出是正确的94.3%.
• 简化摘要在88.9%的场景中被评为准确,在88.9%的场景中被评为足以进行决策.
• 简化摘要的可读性得分显著提高 (例如,Flesch阅读易度:70.2比36.5).
• 公众评级者发现摘要是正确的 (89.5%95.7%) 和可以理解的 (63.0%87.4%).

结论:

• GPT证明了准确的前列腺癌患者教育的潜力.
• 目前的GPT技术需要优化,以便直接提供患者信息.
• 促进GPT的准确性,完整性,清晰性和可读性可以提高其在医疗聊天机器人中的实用性.