评估ChatGPT回答全膝关节整形相关问题的能力

科学领域:

• 整形外科手术 整形外科手术
• 人工智能的人工智能
• 医疗信息系统 医疗信息系统

背景情况:

• 人工智能 (AI) 在骨科中越来越重要,用于临床决策,外科应用和研究.
• 该研究的重点是评估ChatGPT对全膝关节整形术 (TKA) 产生的响应质量.

研究的目的:

• 评估ChatGPT对TKA相关问题的答案的准确性,相关性,清晰性,完整性,基于证据的性质和一致性.
• 了解大语言模型 (LLM) 在关节塑造专业领域的性能.

主要方法:

• 美国骨科外科医生学院的15条临床实践指南被转化为ChatGPT的问题.
• 11名接受过奖学金培训的骨科外科医生评估了ChatGPT的反应,使用6个特征的1-5分级表.
• 响应被分类为风险因素,植入物/手术内方面以及疼痛/功能结果.

主要成果:

• 聊天GPT答案的所有评估特征得分都高于平均值 (平均值>3).
• 相关性获得了最高分 (4.43 ± 0.77),而一致性获得了最低分 (3.54 ± 1.10).
• 风险因素问题产生了最好的反应;疼痛/功能结果问题产生了最低的结果. 总体而言,评价者之间的可靠性很差 (0.33).

结论:

• 根据已建立的全膝关节整形指南,ChatGPT在回答问题方面表现出高于平均水平的准确性.
• 在骨科中ChatGPT反应的可靠性是可变的,这表明需要进一步研究.
• 本研究代表了对关节塑形术LLM绩效的初步评估.