一个大型语言模型的有效性,用于检索有关肩膀关节整形术的临床信息
Jacob F Oeding1, Amy Z Lu2, Michael Mazzucco2
1Department of Orthopaedics, Institute of Clinical Sciences, The Sahlgrenska Academy University of Gothenburg Gothenburg Sweden.
Journal of experimental orthopaedics
|December 18, 2024
概括
聊天GPT-4和谷歌为全肩关节整形术 (TSA) 信息提供了类似的准确性. 聊天GPT-4只使用学术来源,而谷歌提供多种来源,影响信息检索.
科学领域:
- 整形外科手术 整形外科手术
- 医疗信息检索 医疗信息检索
- 医疗保健中的人工智能
背景情况:
- 评估医疗信息的AI工具的可靠性至关重要.
- 全肩关节整形术 (TSA) 是一种常见的骨科手术.
- 患者越来越多地使用在线资源获取健康信息.
研究的目的:
- 评估ChatGPT-4关于TSA的医疗信息的范围和准确性.
- 将ChatGPT-4的响应与谷歌搜索的响应进行比较.
- 分析两个平台使用的来源.
主要方法:
- 在ChatGPT-4和谷歌上复制了患者对"全面肩部置换"的查询.
- 提取并分析了前10个常见问题,答案和来源.
- 两位失明的整形外科医生对临床相关性和准确性进行了分级.
主要成果:
- 80%的数字常见问题在ChatGPT-4和谷歌之间有相同或重叠的答案.
- 准确性和临床相关性没有显著差异 (p=0.32和p=0.18).
- 聊天GPT-4只使用学术来源 (100%),而谷歌的来源是异质的 (学术,医疗实践,社交媒体).
结论:
- 聊天GPT-4为TSA信息提供可靠的学术来源.
- 谷歌提供了各种来源类型的组合.
- 两种平台之间在信息准确性或临床相关性方面没有发现显著差异.
