患者能否区分整形外科医生和ChatGPT对关节整形手术的反应?
Anoop K Prasad1, Perry L Lim, Amy Z Blackburn
1From the Department of Orthopaedic Surgery, Chelsea and Westminster Hospital. London, England, UK (Prasad), the Department of Orthopaedic Surgery, Massachusetts General Hospital, Harvard Medical School, Boston, MA (Lim, Cote, Alpaugh, Melnic, and Bedair), the Department of Orthopaedic Surgery, Newton-Wellesley Hospital, Newton, MA (Lim, Cote, Alpaugh, Melnic, and Bedair), the Department of Orthopaedic Surgery, University of California Los Angeles, Los Angeles, CA (Blackburn), the Department of Orthopaedic Surgery, Royal London Hospital for Integrated Medicine, Orthopaedics, London, England, UK (Ensor), the Department of Radiology, Massachusetts General Hospital, Boston, MA (Succi), and the General Medicine Division, Massachusetts General Hospital, Boston, MA (Sepucha).
患者发现ChatGPT对关节整形手术的答案与骨科外科医生的答案一样可信,有时甚至比它们更可信. 这种人工智能工具显示了改善患者健康素养和决策的潜力.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 患者教育 患者教育
背景情况:
- 数字时代提供了广泛的健康信息,提高了患者的健康素养,但也引入了错误信息挑战.
- 像ChatGPT (Chat Generative Pre-trained Transformer 3) 这样的大型语言模型 (LLM) 越来越多地用于内容创建,这引发了关于它们对医疗保健素养的影响的问题.
- 这项研究解决了与人类专家内容相比,评估人工智能生成的医疗保健信息可信度的需要.
研究的目的:
- 在比较通过ChatGPT 3生成的医疗保健信息与骨科外科医生时,评估患者对信息可信度的看法.
- 将人工智能生成的内容的准确性,真实性和可信度与专家撰写的关节整形术内容进行比较.
主要方法:
- 一项涉及160名患者的横截面调查,评估了四个日益复杂的关节整形术主题.
- 患者随机收到一个问题,并比较了四个答案:一个来自ChatGPT,三个来自骨科外科医生.
- 可信度以7分级 (准确性,真实性,可信度) 评分,患者表示他们最可信的来源. 多级建模用于分析.
主要成果:
- 在所有四个问题上,ChatGPT在准确性,真实性和可信性方面与整形外科医生相匹配或超越.
- 在三个问题上,ChatGPT在一个领域至少胜过一个外科医生,在两个问题上至少胜过两个或两个以上领域的外科医生.
- 多级建模表明,ChatGPT在所有可信度领域的得分最高,患者对四个问题中的两个问题最信任ChatGPT的答案.
结论:
- 患者认为ChatGPT生成的医疗保健信息具有高度可信性,与骨科外科医生的内容相比或优于它.
- 像ChatGPT这样的人工智能工具具有显著的潜力,可以提高患者的健康素养,并支持知情决策.
- 需要进一步的研究,以充分了解患者对人工智能产生的健康信息的信任和偏好.
