快速注射攻击视觉语言模型用于外科决策支持
Zheyuan Zhang1, Muhammad Ibtsaam Qadir1, Matthias Carstens1,2
1Weldon School of Biomedical Engineering, Purdue University, West Lafayette, IN, USA.
medRxiv : the preprint server for health sciences
|August 8, 2025
概括
视觉语言模型对外科人工智能有前途,但易受即时注射攻击的影响. 强度各不相同,Gemini 2.5 Pro显示出比GPT-o4-mini-high更强的弹性,强调了需要采取安全措施的必要性.
科学领域:
- 在外科手术中使用人工智能
- 计算机视觉 计算机视觉
- 医疗决策支持 医疗决策支持
背景情况:
- 人工智能驱动的手术视频分析可以提高最小侵入性手术的安全性和精度.
- 视觉语言模型 (VLMs) 提供了在手术环境中解释复杂视频数据的先进功能.
- VLM容易受到即时注射攻击,对临床应用构成风险.
研究的目的:
- 系统地评估最先进的VLM对文字和视觉即时注入攻击的脆弱性.
- 在对抗条件下评估VLM在临床相关的外科决策支持任务上的表现.
主要方法:
- 在11个手术决策支持任务中评估了四个VLM (Gemini 1.5 Pro,Gemini 2.5 Pro,GPT-o4-mini-high,Qwen 2.5-VL).
- 模拟的即时注入攻击使用误导性文本和视觉重叠在不同的持续时间.
- 通过比较基线和即时注射条件下的性能来测量模型的准确性.
主要成果:
- 所有VLM的准确性都因即时注射而降低; 长时间的视觉注射更有害.
- 双子座2.5 Pro表现出最高的基线精度 (0.82),并证明了对攻击的优越稳定性.
- 在全程视觉注射下,GPT-o4-mini-high是最脆弱的,精度从0.67降至0.24 (P < .001).
结论:
- 目前的VLM容易受到即时注射攻击,从而损害了它们用于外科决定支持的可靠性.
- 强大的时间推理和专门的安全护对于在手术中安全实时部署VLM至关重要.
- 研究结果强调,在将AI整合到临床工作流程中之前,需要进行严格的安全评估.
