有效的人类视觉启发动作识别使用自适应时空采样

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人与计算机的交互

背景情况:

• 在资源有限的可穿戴设备上,始终启动的动作识别需要有效的视频采样.
• 固定的采样策略是不了解上下文的,导致采样不足,效率和准确性降低.
• 人类的视觉感知为适应性采样机制提供了洞察力.

研究的目的:

• 开发一种新的适应性时空采样方案,以实现有效的动作识别.
• 为了提高可穿戴设备的视频分析的计算效率和准确性.
• 为了利用人类视觉感知原则来改进采样策略.

主要方法:

• 实施了一个适应的时空采样方案,其灵感来源于眼视觉和注意前处理.
• 该系统执行低分辨率的全球场景预扫描,以识别突出区域.
• 高分辨率的特征提取被选择性地应用于这些突出区域.

主要成果:

• 与固定的策略相比,拟议的自适应抽样显著加快推断速度.
• 实现了与最先进的基线同等的精度,并减少了计算负载.
• 在EPIC-KITCHENS和UCF-101数据集上证明了有效性.

结论:

• 适应时空采样是一种可行的方法,可以在可穿戴设备上有效识别动作.
• 模仿人类视觉处理可以导致更有效的计算策略.
• 开发的方法提供了一个实用的解决方案,用于实时视频分析有限的资源.