聊天GPT的适用性作为患者信息的来源,用于查乳房扫描

科学领域:

• 医疗保健中的人工智能
• 医学沟通 医学沟通
• 公共卫生信息 公共卫生信息

背景情况:

• 像ChatGPT (3.5和4) 这样的大型语言模型越来越多地用于患者健康教育.
• 它们对特定健康主题的准确性和有效性,例如查性乳房镜像,需要客观的评估.
• 聊天GPT 4提供高级功能,但是一项付费订阅服务,引发了可访问性问题.

研究的目的:

• 为了比较ChatGPT 3.5和ChatGPT 4在生成乳腺查患者信息表中的性能.
• 用验证的工具评估人工智能生成的内容的可理解性和可操作性.
• 将人工智能生成的内容与既有黄金标准进行基准比较.

主要方法:

• 聊天GPT 3.5和4生成了乳腺查患者信息表.
• 内容使用印刷材料的患者教育材料评估工具 (PEMAT-P) 和CDC清晰通信指数 (CDC指数) 进行了评估.
• 性能与BreastScreen NSW的黄金标准患者信息表进行了基准测试.

主要成果:

• 聊天GPT 3.5显示了适当的语气,但缺乏准确性 (PEMAT-P可理解性:68.0%,可操作性:36.7%;CDC指数:58.8%).
• 聊天GPT 4优于3.5,但仍然有遗漏 (PEMAT-P可理解性:75.0%,可操作性:53.3%;疾病预防控制中心指数:66.0%).
• 两种版本都表现出不良的可理解性,可操作性和清晰度,特别是对于健康素养较低的人来说.

结论:

• 目前的ChatGPT版本是乳腺查信息的不可靠和不准确的来源.
• 低健康素养的个人可能会因使用ChatGPT而处于不利地位,这可能会影响查参与和健康结果.
• 医疗保健教育工作者可能面临更大的负担,需要纠正人工智能传播的错误信息.