GSSTU:用于增强视频预测的生成空间自我注意力变压器单元

科学领域:

• 计算机视觉 计算机视觉
• 深度学习 (Deep Learning) 是一种深度学习.
• 视频预测 视频预测

背景情况:

• 未来的预测对于视频生成,自动驾驶和机器人技术至关重要.
• 像反复神经网络 (RNN) 和卷积神经网络 (CNN) 这样的传统方法与远程依赖和复杂的建模作斗争.
• 生成对抗性网络 (GAN) 是有前途的,但在计算上是密集的和不稳定的.

研究的目的:

• 为未来的框架预测开发一种新有效的方法.
• 解决现有方法在捕捉时间依赖性和维护图像质量的局限性.

主要方法:

• 一种混合模型,将3D卷积神经网络 (CNN) 用于编码和变压器用于序列建模.
• 实施一个空间自我注意力机制来捕捉空间关系.
• 引入邻近像素强度损失以保持本地图像细节.

主要成果:

• 拟议的方法在五个公共数据集中实现了卓越的性能.
• 在结构相似性指数测量 (SSIM),峰值信号对噪声比 (PSNR) 和学习感知图像补丁相似性 (LPIPS) 评分中观察到显著改善.
• 与第二好的方法相比,平均有4.64% (SSIM),18.5% (PSNR) 和42% (LPIPS) 的改善.

结论:

• 这种新的方法有效地预测了高准确度的未来.
• 三维CNN,变压器和专用损失功能的组合提高了预测的准确性和质量.