使用轻量级卷积神经网络检测伪造的脸部图像,并使用堆叠合体学习方法
Emre Şafak1,2, Necaattin Barışçı2
1R&D Technology and Innovation Department, HAVELSAN, Ankara, Türkiye.
PeerJ. Computer science
|July 10, 2024
概括
这项研究开发了一种机器学习模型,用于检测假面部图像. 一种集体学习方法实现了96.44%的准确性,改善了用于识别操纵媒体的单个卷积神经网络.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 数字法医学数字法医学
背景情况:
- 图像和视频的数字操纵,特别是假面孔,是普遍存在的,并带来错误信息的风险.
- 机器学习,特别是生成对抗网络 (GAN),越来越复杂地检测合成媒体.
- 面部操纵包括整个面部合成,深度假冒,属性和表情操纵.
研究的目的:
- 研究轻质卷积神经网络 (CNN) 在检测假面图像方面的有效性.
- 为了比较各种CNN架构的性能,包括MobileNet,MobileNetV2,EfficientNetB0和NASNetMobile. 为了比较各种CNN架构的性能,包括MobileNet,MobileNetV2和NASNetMobile.
- 通过模型修订和集体学习技术来提高检测准确性.
主要方法:
- 利用了7万张真实 (FFHQ) 和7万张假 (StyleGAN2生成) 面部图像的数据集进行培训和测试 (80%/20%分).
- 员工通过在ImageNet上预培训MobileNet,MobileNetV2,EfficientNetB0和NASNetMobile来转移学习.
- 通过在EfficientNetB0中添加密集层和掉落层来实现模型的完善,然后通过MobileNet和MobileNetV2.2对集体学习进行堆叠.
主要成果:
- 初步培训显示,EfficientNetB0实现了最高准确率的93.64%.
- 在后修改后,EfficientNetB0的准确性达到95.48%.
- 最终的堆叠组合模型,结合了EfficientNetB0,MobileNet和MobileNetV2,达到96.44%的峰值精度.
结论:
- 轻量级的CNN,特别是当通过组合学习进行增强和组合时,对于检测合成面部图像是有效的.
- 开发的整体模型在与单个模型相比,在区分真实和假面孔方面表现出卓越的性能.
- 这项研究通过提供更准确的方法来识别操纵的视觉内容,有助于打击错误信息.
