基于GPT的聊天机器人工具在治疗假肢关节感染方面仍然不可靠
M Bortoli1, M Fiore2,3, S Tedeschi4,5
1Orthopedic and Traumatology Unit, IRCCS Azienda Ospedaliero-Universitaria Di Bologna, 40138, Bologna, Italy.
Musculoskeletal surgery
|July 2, 2024
概括
人工智能聊天机器人在识别医疗干预模式方面显示出潜力,但它们对假肢关节感染 (PJI) 问题的可靠性仍在争论中. 专家评价表明响应质量有所不同,这表明目前不适合PJI管理.
科学领域:
- 人工智能的人工智能
- 医疗信息学 医疗信息学
- 整形外科手术 整形外科手术
背景情况:
- 人工智能聊天机器人可以识别医疗数据中的复杂模式,从而有可能改进干预措施.
- 人工智能工具用于回答医疗问题的可靠性,特别是关于假肢关节感染 (PJI) 的可靠性,需要进行彻底评估.
- 医疗保健环境中的基于GPT的聊天机器人性能是一个新兴的研究领域.
研究的目的:
- 评估基于GPT的三个人工智能聊天机器人 (ChatGPT 3.5,BingChat,ChatGPT 4.0) 在回答与假肢关节感染 (PJI) 相关的问题方面的表现.
- 评估AI产生的关于PJI诊断和治疗的答案的准确性和完整性.
主要方法:
- 一组30个专家生成的关于部和膝盖PJI诊断和治疗的问题,按难度分层,向ChatGPT 3.5,BingChat和ChatGPT 4.0.0提出.
- 整形外科医生和传染病医生使用五分利克特样尺度对反应进行了评估.
- 评估者之间的可靠性是使用类内相关系数进行评估的.
主要成果:
- 所有检查的聊天机器人均为PJI诊断和治疗提供了平均"好到非常好"的响应.
- 在治疗领域,BingChat的评分明显较低,特别是在准确性和完整性方面.
- 关于人工智能生成的响应质量的专家评级者之间达成的协议非常差.
结论:
- 虽然AI聊天机器人对PJI相关查询的响应通常被专家评价为积极的,但评级存在显著的变化.
- 目前的不一致性和较差的评分器间可靠性表明,人工智能聊天机器人工具尚未可靠地管理假肢关节感染.
- 需要进一步的研究和开发,以提高AI工具在PJI管理等专业医疗领域的准确性和一致性.
