视频序列的时空冗余减少:基于运动的透驱动的注意力方法
Ye Yuan1, Baolei Wu1, Zifan Mo2
1Institute of Machine Intelligence, University of Shanghai for Science and Technology, Shanghai 200093, China.
Biomimetics (Basel, Switzerland)
|April 25, 2025
概括
本研究介绍了引运动增强采样 (EGMESampler),这是一种新的采样方法,可以有效地减少冗余的视频数据. EGMESampler通过根据运动信息自适应地选择来提高视频理解中的计算资源利用率.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 冗余的视频在视频理解任务中浪费计算资源.
- 目前的框架采样方法对于不同的行动类别缺乏灵活性.
- 需要适应性框架选择以提高效率.
研究的目的:
- 提出一种有效和可解释的框架采样方法,EGMESampler,灵感来自人类视觉路径.
- 为了更好地利用资源,在视频中删除冗余的时空信息.
- 为了增强运动表达和减少采样中的背景噪音.
主要方法:
- 运动建模用于从无关背景中提取运动信息.
- 基于的动态采样策略,利用运动信息.
- 注意操作以增强运动表达和消除空间背景冗余.
主要成果:
- EGMESampler有效地删除了冗余的时空信息.
- 与固定采样策略相比,该方法显示出有效性.
- 在五个基准数据集上的实验显示了跨模型和数据集的概括性.
结论:
- EGMESampler提供了一个适应性和高效的解决方案,用于视频采样.
- 该方法可以集成到现有的视频处理算法中.
- 它在视频理解任务中显著提高了资源利用率.
