相关实验视频
Updated: May 26, 2025
06:48
Emergency Undocking in Robotic Surgery: A Simulation Curriculum
Published on: May 20, 2018
9.2K
人与人工智能的合作决策在重症监护室中的安全性:一个物理模拟研究
Paul Festor1,2, Myura Nagendran1,2,3, Anthony C Gordon1,3
1UKRI Centre for Doctoral Training in AI for Healthcare, Imperial College London, London, United Kingdom.
PLOS digital health
|February 24, 2025
概括
在一个模拟的重症监护室中,医生们在很大程度上拒绝了不安全的人工智能 (AI) 建议. 对不安全的人工智能的注意力增加并没有导致检查解释或临床数据,突出了人工智能安全需要人类监督的需要.
科学领域:
- 人与计算机的交互
- 医疗信息学 医疗信息学
- 人工智能安全问题 人工智能安全问题
背景情况:
- 确保人工智能 (AI) 系统的安全性至关重要,特别是在高风险的医疗机构.
- 人与人工智能交互的安全性至关重要,因为与错误的AI建议相关的风险.
- 评估人工智能安全性需要了解临床医生的决策过程.
研究的目的:
- 在模拟的重症监护室 (ICU) 环境中调查临床医生对安全和不安全的AI建议的反应.
- 评估AI建议对医生的注意力和决策的影响.
- 评估人工智能驱动的临床决策支持中人类监督的有效性.
主要方法:
- 一项以安全为重点的临床医生-人工智能相互作用研究是在高保真物理模拟套件中进行的.
- 医生与人工智能推系统互动,同时治疗模拟性败血症患者,用眼睛跟踪来监测目光.
- 临床医生在接受AI建议 (安全或不安全) 之前和之后记录了治疗计划.
主要成果:
- 92%的临床医生拒绝了不安全的AI建议,而对安全的建议则只有29%.
- 医生对不安全的AI建议的视觉注意力增加了 (+37%的凝视固定).
- 当AI建议不安全时,没有观察到对AI解释或临床数据的注意力增加.
结论:
- 医生们表现出了强大的能力来识别和拒绝不安全的AI建议.
- 对不安全的人工智能的注意力增加与对解释或临床数据的更深入调查无关.
- 该研究强调了人类监督和高保真模拟对于评估重症监护中的AI安全的重要性.
