什么时候,外科医生会变成技术人员呢? 聊天机器人在管理临床场景方面的表现

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 外科教育的外科教育

背景情况:

• 聊天机器人越来越多地在医学中用于临床决策支持.
• 人工智能 (AI) 平台提供的信息的准确性存在担忧.
• 这项研究评估了流行的聊天机器人与专家外科医生的表现.

研究的目的:

• 在医疗环境中评估领先的人工智能聊天机器人的准确性和性能.
• 将聊天机器人的诊断,评估和治疗相关反应与经过董事会认证的胸部外科医生的反应进行比较.
• 识别与AI在临床决策中的实施相关的潜在风险.

主要方法:

• 根据美国胸部外科委员会 (ABTS) 资格考试开发的临床场景.
• 利用关键特征方法来构建场景,专注于诊断,评估和治疗.
• 对四个聊天机器人 (ChatGPT-4,Gemini,Perplexity,Claude 2) 和21名经过董事会认证的外科医生进行了10种场景的管理,并使用曼-惠特尼U测试比较得分.

主要成果:

• 聊天机器人每场景平均得分为1.06,远低于外科医生平均得分为1.88 (P=.019).
• 外科医生在除了两个场景之外的所有场景中都超过了聊天机器人.
• 与外科医生响应 (中位数0.19;P=.016) 相比,聊天机器人响应更有可能导致关键失败 (中位数0.50).

结论:

• 人气的人工智能聊天机器人与董事会认证的胸部外科医生相比,表现明显较低.
• 这些发现强调了在临床决策过程中实施AI时需要谨慎.
• 需要进一步的研究来提高AI在医疗应用中的准确性和安全性.