聊天GPT 120个跨学科过敏学问题的表现-用临床错误进行系统评估-对关键错误的AI引导聊天机器人建议进行影响评估

科学领域:

• 人工智能在医学中的应用
• 过敏和免疫学研究 研究过敏和免疫学研究
• 临床决策支持系统 临床决策支持系统

背景情况:

• 患者越来越多地使用像ChatGPT这样的AI工具来获取医疗信息,包括与过敏有关的查询.
• 对过敏学预约的漫长等待时间促使患者寻求其他信息来源.
• 虽然可以访问ChatGPT,但它可能会提供不准确或不完整的医疗建议,带来风险.

研究的目的:

• 系统地评估ChatGPT (3.5) 在回答临床实践中的过敏学问题的性能.
• 开发和应用过敏学错误影响评估来评估人工智能产生的错误的严重程度和后果.
• 在与过敏相关的背景下分析ChatGPT的准确性,完整性,人性感知和可读性.

主要方法:

• 120个多学科的过敏问题 (皮肤病学,儿科,肺病学) 被提出给ChatGPT.
• 答案被评估为准确性,完整性,人性感知和可读性 (Flesch阅读方便).
• 错误按严重程度 (轻微,重大,关键) 分类,关键错误经过影响分析.

主要成果:

• 聊天GPT获得了良好的准确性 (平均4.1/5),但在6%的响应中显示出关键错误 (1皮肤病学,2儿科,3肺病学).
• 在儿科查询中,完整性和人性感知度较低.
• 关于儿科食品过敏原的关键错误存在潜在的危及生命的风险.

结论:

• 目前ChatGPT在过敏学中的可靠性是不完美的,这强调了专家医疗咨询的必要性.
• 人工智能工具需要针对过敏使用案例进行专门的定制,以提高它们在临床环境中的实用性.
• 进一步开发可以使像ChatGPT这样的AI能够安全地协助常规过敏护理.