聊天GPT与类风湿病学家:对人工智能生成的信息对于牛皮关节炎的准确性和患者感知的横截面研究

科学领域:

• 风湿病学和人工智能的人工智能
• 患者教育技术技术
• 在医疗保健中的自然语言处理.

背景情况:

• 患有风湿性疾病的患者积极在网上寻找健康信息.
• 像ChatGPT这样的大型语言模型 (LLM) 提供了潜在的患者教育替代方案.
• 在LLM产生的医疗信息的可靠性需要彻底的调查.

研究的目的:

• 为了比较ChatGPT-4反应的准确性和完整性,与专家生成的牛皮关节炎 (PsA) 答案进行比较.
• 评估患者对人工智能产生的偏好与人类专家的反应.
• 评估人工智能生成的医疗信息的可读性.

主要方法:

• 76名PsA患者在6个主题中产生了32个问题.
• 聊天GPT-4和12个PsA专家回答了问题.
• 14名临床医生对人工智能和人类的答案进行了准确性和完整性的评分.
• 67名PsA患者在随机选择的答案对之间表示偏好.
• 人工智能响应的可读性使用标准指数进行评估.

主要成果:

• 聊天GPT-4响应的准确性与专家可比,但完整性较低.
• 在与怀孕/生育相关的查询中,ChatGPT-4的准确度较低.
• 对于预后和治疗信息,患者更喜欢ChatGPT-4反应 (49.2%) 而不是临床医生的答案 (34.4%).
• 聊天GPT-4平均产生了更多可读的响应.

结论:

• 聊天GPT-4可以提供准确和可读的答案,与PsA相关的患者问题.
• 像ChatGPT-4这样的LLM显示出在风湿病学患者教育中作为有价值的工具的潜力.
• 患者的偏好表明,对人工智能驱动的健康信息资源的接受是积极的.