STFANet:一个空间和时间特征聚合网络,用于在视频中检测假面孔

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 数字法医学数字法医学

背景情况:

• 视频合成技术的快速发展使得视频真实性验证变得越来越困难.
• 当前的检测方法往往忽略了全面的时空特征,主要依赖于框架内的空间文物和时间不一致.
• 这种限制限制了有效检测复杂视频操纵的能力.

研究的目的:

• 提出一个新的网络,空间和时间特征聚合网络 (STFANet),用于增强视频伪造检测.
• 通过有效利用时空特征来解决现有方法的局限性.
• 提高操纵视频检测的准确性和稳定性,特别是在面部伪造方面.

主要方法:

• 在STFANet中开发了一个双路径网络结构,以独立提取空间和时间特征.
• 集成提取的空间和时间特征,以创建高保真度的空间和时间表示.
• 整合了一个视觉转换器模块,以捕捉功能地图中的全球依赖关系,以增强表示.

主要成果:

• 在视频中检测面部伪造时,STFANet表现出了很高的有效性.
• 在基准数据集上取得了出色的表现:FaceForensics++上的AUC得分为0.9933,Celeb-DF上的AUC得分为0.9829.
• 分析证实,特征聚合显著提高了时空表示的质量.

结论:

• 拟议的STFANet有效地解决了视频真实性验证方面的挑战.
• 该网络集成空间和时间特征的能力,通过视觉变压器增强,导致卓越的伪造检测性能.
• STFANet在检测操纵视频,特别是面部伪造方面取得了重大进展.