从人工智能对旋转手腕修复手术的信息的评估
Eric Warren1, Eoghan T Hurley2, Caroline N Park2
1Duke University School of Medicine, Duke University, Durham, NC, USA.
JSES international
|February 5, 2024
概括
人工智能生成的关于旋转手套修复手术的信息提供了高质量,但缺乏可靠的引用. 虽然DISCERN的分数很好,但可读性达到10年级的水平,超过了推.
科学领域:
- 整形外科 整形外科 整形外科
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
背景情况:
- 在线健康信息质量差异很大.
- 旋转手套修复是一种常见的骨科手术.
- 患者对医疗信息的理解影响了结果.
研究的目的:
- 评估人工智能生成的关于旋转手腕修复的内容的质量和可读性.
- 通过建立的医疗信息基准来评估AI反应.
主要方法:
- 一个开放的AI模型 (ChatGPT) 回答了24个关于旋转手套修复的患者问题.
- 问题被分为事实,政策或价值 (罗斯威尔分类).
- 答案使用JAMA基准标准,DISCERN得分和Flesch-Kincaid可读性指标进行评估.
主要成果:
- JAMA基准评分为0,表明没有引用可靠的资源.
- DISCERN评分很好 (51-55),但由于缺少引用,可靠性很低.
- 弗莱什-金凯德可读性表明10年级或更高的水平,超过了推水平.
结论:
- 人工智能生成的旋转手套维修信息通常是高质量的,但缺乏来源引用,影响可靠性.
- 人工智能反应符合或超过了之前关于在线旋转手套维修信息质量的研究.
- 可读性超过了推水平,AI经常建议咨询骨科外科医生.
