与临床实践指南相比,聊天GPT的表现如何为腰椎神经根部疼痛做出知情决定:一个横截面研究

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 临床决策支持 临床决策支持

背景情况:

• 临床实践指南 (CPG) 对于基于证据的患者护理至关重要.
• 人工智能 (AI) 聊天机器人越来越多地被用于临床信息检索.
• 人工智能聊天机器人在提供医疗建议时的准确性和可靠性需要严格的评估.

研究的目的:

• 为了比较人工智能聊天机器人 (ChatGPT) 与 lumbosacral 根性疼痛的已建立CPG的准确性.
• 评估AI对复杂的临床查询产生的答案的内部一致性和可靠性.

主要方法:

• 提取了CPG对腰部神经根部疼痛的建议.
• 开发了临床问题并对OpenAI的ChatGPT (GPT-3.5) 进行了查询.
• 评估了ChatGPT对内部一致性,审查员间可靠性和CPG准确性的答案.

主要成果:

• 在多个查询中,ChatGPT表现出不可接受的内部一致性 (平均49%的文本相似性).
• 在评分人工智能答案 (κ=0.85) 时,观察到高面试者可靠性.
• 与CPG相比,ChatGPT答案的准确性很小,只有33%的人同意.

结论:

• 聊天GPT表现不佳,无论是内在的一致性和准确性,对于 lumbosacral radicular 疼痛建议.
• 当前的人工智能聊天机器人可能无法可靠地提供复杂疾病的临床指导.
• 需要进一步的研究来提高AI在医疗保健应用中的准确性和一致性.