可变时间长度 行动识别培训 CNNs CNNs

科学领域:

• 计算机视觉 计算机视觉
• 深度学习 (Deep Learning) 是一种深度学习.
• 人工智能的人工智能

背景情况:

• 当前的深度学习模型,特别是计算机视觉模型,在输入形状方面具有有限的灵活性,通常需要固定尺寸以获得最佳性能.
• 视频分析任务面临挑战,因为视频长度 (数) 固有的变化,需要采样技术,这可能会降低功能质量并阻碍适应性.
• 标准的训练方法可能会损害更长的视频中的特征,并阻止模型灵活地适应可变长度以进行按需推断.

研究的目的:

• 为3D卷积神经网络 (3D-CNNs) 提出一种新的训练范式,即可变长度训练 (VLT).
• 为了使3D-CNN能够有效地处理具有可变时间长度的视频而不会降低性能.
• 提高视频相关任务的深度学习模型的灵活性和适应性.

主要方法:

• 引入了3D-CNNs的可变长度训练 (VLT),包括三个额外的训练操作:两次采样,时间包装和独立于子视频的3D卷积.
• 将这些高效的操作集成到现有的3D-CNN架构中.
• 实现一致性损失以规范表示空间,进一步增强模型的稳定性.

主要成果:

• 拟议的VLT方法允许训练有素的模型在推断过程中处理不同时间长度的视频,而无需任何架构修改.
• 在流行的动作识别数据集上的实验表明,与传统的训练范式相比,性能优越.
• 该方法比其他用于可变长度视频处理的最先进的培训方法取得了更好的结果.

结论:

• 可变长度培训 (VLT) 为深度学习模型提供了一个简单但有效的解决方案,用于处理可变长度的视频输入.
• 该VLT范式增强了模型的灵活性,适应性和视频分析任务的性能,特别是动作识别.
• 这种方法克服了视频处理当前深度学习模型中固定长度输入要求的局限性.