三个聊天机器人作为临床实验室问题解决助手的比较
Sedat Abusoglu1, Muhittin Serdar2, Ali Unlu1
1Department of Biochemistry, Selcuk University Faculty of Medicine, Konya, Türkiye.
Clinical chemistry and laboratory medicine
|December 14, 2023
概括
这项研究评估了聊天机器人用于检测实验室错误和诊断. 在识别临床错误方面,CopyAI和ChatGPT v4.0的准确性高于ChatGPT-3.5.
科学领域:
- 临床实验室科学 临床实验室科学
- 医疗保健中的人工智能
- 医学诊断 医学诊断 医学诊断
背景情况:
- 临床实验室数据正在迅速增加,需要用于错误检测和流程管理的先进工具.
- 人工智能 (AI) 聊天机器人显示出在临床环境中协助数据质量和运营效率方面的潜力.
研究的目的:
- 评估AI聊天机器人在临床实验室中识别分析前,分析后和分析后错误的能力.
- 根据实验室数据,评估聊天机器人在检测潜在临床诊断方面的有效性.
主要方法:
- 开发了60个问题 (20个案例场景,20个选择题,20个直接问题),涵盖实验室错误.
- 四个不同的AI聊天机器人 (ChatGPT-3.5,ChatGPT v4.0,CopyAI,WriteSonic) 回答了这些问题.
- 实验室专家盲目评分聊天机器人的响应,以准确性,有用性和完整性.
主要成果:
- 在案例场景中,ChatGPT v4.0 (88.9%) 和CopyAI (86.7%) 的准确性明显高于ChatGPT-3.5 (54.4%).
- 在多选题中,CopyAI (90.6%) 的表现优于ChatGPT-3.5 (62.2%) 的表现.
- 在聊天机器人之间没有观察到明显的准确性差异,用于直接问题.
结论:
- 人工智能聊天机器人显示出识别临床实验室错误和响应相关查询的巨大潜力.
- 人工智能在临床环境中的未来整合需要在结构化的框架内进行专家培训和验证,以获得最佳性能.


