BadCM:对跨模式学习的隐形后门攻击

科学领域:

• 人工智能的人工智能
• 机器学习安全 机器学习安全
• 跨模式学习跨模式学习

背景情况:

• 单模式后门攻击得到了很好的研究,但跨模式攻击缺乏概括性和隐形性.
• 现有的交叉模式攻击往往继承了单模式视觉攻击,限制了它们的有效性.
• 不易察觉的触发器样本对于实际的真实世界攻击至关重要.

研究的目的:

• 为跨模式学习提出一个通用的隐形后门框架.
• 解决现有的跨模式后门攻击在通用化和隐蔽性方面存在的局限性.
• 开发一个统一的框架,能够处理各种跨模式攻击场景.

主要方法:

• 引入了一种新的双边后门方法.
• 开发了一种跨模式采矿方案,以确定用于触发器注入的模式不变组件.
• 设计了针对视觉和语言数据的模式特定生成器,以提高触发器隐形性.
• 适应了图像-文本交叉模式模型的框架.

主要成果:

• 证明了BadCM框架在跨模式检索和视觉问题答案 (VQA) 上的有效性和通用性.
• 展示了BadCM逃避现有的后门防御的能力.
• 在有毒样本中通过隐藏模态不变区域中的明确触发器来实现高隐蔽性.

结论:

• BadCM是第一个隐形的后门方法,旨在在统一的框架内进行多种多样化的跨模式攻击.
• 与现有方法相比,拟议的方法提供了更好的概括性和隐蔽性.
• 在理解和减轻跨模式学习漏洞方面,BadCM取得了重大进展.