人工智能可以与证据保持一致吗? 在膝关节骨关节炎手术指南中ChatGPT-4o的性能

科学领域:

• 整形外科手术 整形外科手术
• 人工智能在医学中的应用
• 临床实践指南 临床实践指南

背景情况:

• 像ChatGPT这样的大型语言模型 (LLM) 在医疗保健中越来越多地被采用.
• 在复制基于证据的临床实践指南 (CPG) 中,LLM的可靠性尚未得到充分证实.
• 准确的CPG复制对于安全有效的患者护理至关重要.

研究的目的:

• 评估ChatGPT-4o在复制膝关节骨关节炎和全膝关节整形术 (TKA) 的CPG建议中的性能.
• 评估ChatGPT-4o对已建立的骨科指南的反应的准确性和一致性.

主要方法:

• 来自美国骨科外科医生学会TKA CPG的20条建议被转化为临床问题.
• 在多个独立的会议中向ChatGPT-4o提交问题,以评估文本的一致性.
• 答案由两位独立专家评估,并根据CPG框架进行分类.
• 使用科恩和弗莱斯的卡帕系数统计分析了协议和对齐.

主要成果:

• 聊天GPT-4o与TKA CPG达成60%的一致性,表明公平协议 (κ=0.392).
• 内部文本的一致性很低,一些反应在试验中显示<50%的相似性.
• 评价者之间的可靠性是中等到完美的 (κ=0.547-0.946).
• 发现了差异,特别是在功能结果和康复策略方面.

结论:

• 在复制TKA CPG时,ChatGPT-4o表现出适度的准确性和异质的可靠性.
• 模型的变化和不完全遵守需要谨慎的临床整合和专业监督.
• 法律法规可能作为教育和患者沟通的支持工具,但需要仔细验证.