深度假冒防御:将空间和时间线索与CNN-BiLSTM变压器架构相结合
Srijana Yadav1, S Sudheer Mangalampalli1
1Manipal Institute of Technology Bengaluru, Manipal Academy of Higher Education, Manipal, India.
PloS one
|November 14, 2025
概括
这项研究引入了一种混合深度学习模型来检测深度假冒,它结合了卷积神经网络 (CNN),双向长期短期记忆 (BiLSTM) 网络和变压器编码器,以实现强大的时空分析和改进识别操纵媒体的准确性.
科学领域:
- 计算机科学,人工智能,机器学习,计算机视觉,网络安全.
背景情况:
- 深度假冒对媒体真实性和公共话语构成重大威胁.
- 现有的深度假冒检测方法单独分析空间或时间特征,对于现实世界的场景是不够的.
- 卷积神经网络 (CNN) 捕获空间细节,而循环神经网络 (RNN) 和长期短期记忆 (LSTM) 单元处理时间动态,但与长期依赖性作斗争.
研究的目的:
- 开发一种混合深度学习架构,用于全面的时空深度假冒检测.
- 克服现有模型在处理复杂的视频退化和长期时间关系方面的局限性.
主要方法:
- 一个混合深度学习框架,集成CNN (MobileNetV2骨干),双向LSTM (BiLSTM) 和变压器编码器.
- 空间特征提取的CNN模块,局部时间运动的BiLSTM和全球时间关系的变压器编码器.
- 双路径时间建模利用顺序学习和注意力机制进行综合的时空分析.
主要成果:
- 拟议的架构在FaceForensics++和DeepFake检测挑战 (DFDC) 数据集上实现了卓越的性能.
- 获得了90.6%的F1得分和98.5%的曲线下面积 (AUC),表现优于基线模型.
- 对各种视频质量下降表现出强大的稳定性.
结论:
- 混合深度学习模型为准确的深度假冒检测提供了一个实用且可扩展的解决方案.
- 综合时空分析有效地解决了单一特征检测方法的局限性.
- 该模型的稳定性使其适用于需要高保真媒体验证的关键应用程序.