基于变压器的级联网络,具有空间和通道重建卷积,用于深度假冒检测
Xue Li1, Huibo Zhou1, Ming Zhao1
1School of Mathematical Sciences, Harbin Normal University, Harbin 150025, China.
Mathematical biosciences and engineering : MBE
|March 29, 2024
概括
本研究介绍了一种使用空间和通道重建卷积 (SCConv) 和视觉转换器的先进深度假冒检测模型. 该模型在识别假视频方面取得了很高的准确性,增强了对伪造媒体的国家安全.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 网络安全 网络安全
背景情况:
- 复杂的伪造视频技术的扩散对个人,社会和国家安全构成重大威胁.
- 深度假冒技术的快速发展需要开发强大和最新的检测模型.
- 训练深度假冒检测模型需要大量多样化的数据,这给数据管理带来了挑战.
研究的目的:
- 提出一种新的深度假冒检测模型,解决现有方法的局限性.
- 通过创新的网络架构,提高深度假冒检测的准确性和效率.
- 提供一种可靠的解决方案,用于在数字领域识别伪造的视频.
主要方法:
- 开发了一个级联网络架构,将空间和通道重建卷积 (SCConv) 与视觉变压器集成在一起.
- 该模型在初始阶段使用SCConv和正则卷积来检测假视频,然后使用视觉变压器.
- 视觉变压器的前层得到了增强,以提高检测精度和减少计算负载.
- 通过分割视频和提取面部来处理数据集,以创建全面的真实和假面部图像数据集.
主要成果:
- 拟议的模型在多个基准数据集中实现了高检测准确度:DFDC的87.92%,FaceForensics++的99.23%,Celeb-DF的99.98%.
- 增强的视觉变压器组件成功地提高了检测准确度,同时降低了模型的计算要求.
- 质量评估,包括可视化结果,证明了该模型在验证视频内容的有效性.
结论:
- 开发的深度假冒检测模型,利用SCConv和增强视觉变压器,为识别伪造视频提供了非常有效的解决方案.
- 该模型在各种数据集上的卓越性能及其计算效率使其成为打击恶意深度假冒传播的有价值工具.
- 该研究通过严格的测试验证了该模型的有效性,并证实了其在深度假冒检测中实际应用的潜力.
