在文本到图像扩散模型中用于后门检测的动态注意力分析
IEEE transactions on pattern analysis and machine intelligence
|December 15, 2025
概括
本研究引入了动态注意力分析 (DAA),通过分析动态特征演变来检测文本到图像扩散模型中的后门攻击. 通过检查注意力地图异常,DAA有效地识别恶意样本,优于现有的方法.
科学领域:
- 人工智能的人工智能
- 机器学习安全 机器学习安全
背景情况:
- 文本到图像扩散模型容易受到使用隐藏文本触发器的后门攻击.
- 现有的后门检测方法往往忽视了扩散模型的动态性质.
研究的目的:
- 引入一种新的后门检测方法,即动态注意力分析 (DAA),利用扩散模型固有的动力.
- 为了证明动态特征与静态特征相比,在检测后门攻击方面具有优越的指标.
主要方法:
- 检查交叉注意力图的动态演变,以在
令牌的后门样本中识别不同的特征模式. - 介绍DAA-I,它使用空间独立的注意力地图上的弗罗贝尼乌斯规范量化动态异常.
- 提出DAA-S,一种基于动态系统的方法,使用基于图形的状态方程来建模注意力图的相互作用并分析稳定性.
主要成果:
- 与良性样本相比,后门样本在
令牌上表现出独特的特征演变模式. - DAA-I和DAA-S有效量化了注意力图中的动态异常.
- 提出的DAA方法在六种攻击场景中显著优于现有的检测方法.
结论:
- 动态注意力分析 (DAA) 为检测文本到图像扩散模型中的后门攻击提供了一个有希望的新视角.
- 扩散模型的动态性为强大的后门检测提供了关键指标.
- DAA的平均F1分数为79.27%,AUC为86.27%,达到了高性能.
