通过使用混合CNN-Mamba框架进行面部素描-照片合成来保护身份

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 面部素描到照片合成 (FSPS) 对于犯罪调查等应用至关重要.
• 现有的卷积神经网络 (CNN) 方法与模式差异,全球信息和层次特征利用有关,影响身份保护和图像质量.
• 状态空间序列模型 (SSM) 在计算机视觉任务中显示出前景.

研究的目的:

• 开发面部素描-照片合成 (FSPS) 的先进模型.
• 解决当前基于CNN的方法在平衡身份保护和图像质量的局限性.
• 整合CNN和SSM的优势,以获得卓越的FSPS性能.

主要方法:

• 为FSPS提出了一种名为FaceMamba的混合CNN-SSM模型.
• 介绍了面部视觉曼巴 注意使用SSM隐藏空间建模.
• 集成的注意力功能注入,通过注意力机制结合编码,解码和辅助功能.

主要成果:

• 使用Mamba的FaceMamba有效地模拟了使用Mamba的远程依赖关系,使用CNN的本地特征.
• 该模型恰当地利用了层次特征.
• 实验结果表明FaceMamba在FSPS中的强竞争力.

结论:

• 在面部草图到照片合成中,FaceMamba在身份保护和图像质量之间实现了卓越的平衡.
• 混合CNN-SSM架构比现有方法具有显著的优势.
• 这种方法推进了FSPS的最新技术,用于实际应用.