关于深度学习模型在视频中的通用化 深度假冒检测

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 深度学习的进步使复杂的图像和视频操纵成为可能,创造了挑战真实性验证的深度假冒.
• 现有的深度假冒检测系统往往无法将其泛化为其培训数据中不存在的新型操纵技术.
• 在现实世界中,深度假冒检测需要具有强大的概括能力的模型.

研究的目的:

• 分析和比较不同深度学习架构的概括能力,以检测深度假冒.
• 确定哪些深度学习模型在识别各种数据集和新技术中最有效地识别操纵媒体.

主要方法:

• 深度学习架构的比较分析,包括卷积神经网络 (CNN),视觉转换器和Swin转换器.
• 基于各种数据集和操纵方法的概括能力评估模型性能.
• 专注于了解不同的架构是如何学习和代表深假异常的.

主要成果:

• 卷积神经网络 (CNN) 在有限的数据集和特定的操纵类型中表现出有效性.
• 视觉转换器在不同数据集上训练时表现出强烈的概括性.
• 旋转变压器显示承诺作为一个基于注意力的方法,用于有限的数据场景和跨数据集概括.

结论:

• 基于注意力的架构,特别是Swin变压器,由于增强的概括能力,为现实世界的深度假冒检测提供了卓越的性能.
• 架构的选择显著影响深度假冒检测的有效性,变形金刚在通用性方面超过了CNN.
• 未来的深度假冒检测研究应该优先考虑基于注意力的模型,以获得强大的现实应用.