TSFF-Net:一个基于双流特征域融合的深度假视频检测模型
Hangchuan Zhang1, Caiping Hu1, Shiyu Min1
1Department of Computer Engineering, Jinling Institute of Technology, Nanjing, Jiangsu, China.
PloS one
|December 13, 2024
概括
这项研究介绍了TSFF-Net,一种新的深度假冒面部检测模型. 它通过结合空间和频率域特征,有效地识别低质量的深度假冒,在基准数据集上实现高精度.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 数字法医学数字法医学
背景情况:
- 深度假冒生成技术,特别是生成对抗网络 (GAN),对准确的面部伪造检测提出了重大挑战.
- 现有的方法难以处理复杂的场景和低质量的压缩图像,限制了它们在现实世界中的适用性.
研究的目的:
- 开发一种新的深度学习模型来检测深度假冒面部视频,特别专注于提高低质量和压缩内容的性能.
- 为了提高对复杂的伪造技术的深度假冒检测的稳定性.
主要方法:
- 提出了双流特征域融合网络 (TSFF-Net) 用于深层面假冒视频检测.
- 实现了空间和频域特征提取分支,结合了边缘特征提取的Scharr运算符.
- 集成频率域信息,并利用变压器层进行增强功能处理.
主要成果:
- 在FaceForensics++数据集上实现了高检测准确度:97.7% (Deepfake),91.0% (Face2Face),98.9% (FaceSwap) 和90.0% (神经质地).
- 与现有方法相比,在检测低质量的Deepfake视频方面表现出卓越的性能.
- 在交叉数据集实验中展示了有希望的结果,表明了可概括性.
结论:
- TSFF-Net有效地解决了当前深度假冒检测方法的局限性,特别是在挑战低质量的场景时.
- 空间和频率域特征的融合提供了一个强大的方法来识别复杂的深度假冒.
- 该模型的性能表明其在数字取证和媒体身份验证方面的实际应用潜力.
