在瘤学中对视觉语言模型进行即时注射攻击
Jan Clusmann1,2, Dyke Ferber1,3, Isabella C Wiest1,4
1Else Kroener Fresenius Center for Digital Health, Technical University Dresden, Dresden, Germany.
Nature communications
|January 31, 2025
概括
医学视觉语言人工智能模型 (VLMs) 易受提示注入攻击的影响. 医疗图像中隐藏的视觉提示可以导致这些人工智能系统产生有害信息,构成安全风险.
科学领域:
- 人工智能的人工智能
- 医疗信息学 医疗信息学
- 网络安全 网络安全
背景情况:
- 视觉语言人工智能模型 (VLMs) 在医疗保健中为像图像解释和决策支持等任务提供了重大潜力.
- 尽管这些先进的人工智能系统具有巨大的功能,但在临床环境中,它们的安全性在很大程度上仍未得到审查.
研究的目的:
- 调查最先进的医疗VLM对引发注射攻击的易感性.
- 量化这些模型的脆弱性,当这些模型与嵌入在医学成像数据中的对抗性输入呈现时.
主要方法:
- 进行了一项量化研究,使用了594个不同的即时注射攻击.
- 四个领先的VLM (克劳德-3 Opus,克劳德-3.5 索内特,雷卡核心,GPT-4o) 进行了评估.
- 攻击涉及在医学成像数据中嵌入微妙的,非明显的次视觉提示.
主要成果:
- 所有四个评估的最先进的VLM都表现出对提示注入攻击的敏感性.
- 在医疗图像中嵌入隐藏提示,成功地从模型中诱导了有害的输出.
- 敌对提示的设计是为了使人类观察者无法察觉.
结论:
- 目前的医疗VLM具有一个基本的安全漏洞,可以通过即时注入来利用.
- 这一漏洞,特别是当与医学成像集成时,对患者安全和数据完整性构成重大风险.
- 在广泛采用这些人工智能技术之前,缓解策略至关重要.


