基于超图的多视图动作识别使用事件摄像头

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 机器人技术 机器人技术 机器人技术

背景情况:

• 单视角的动作识别受到视角依赖的限制.
• 多视图方法通过捕获互补信息来提高准确性.
• 事件摄像头提供生物灵感感应用于先进的动作识别,但多视图应用尚未得到充分探索.

研究的目的:

• 解决基于事件的多视角行动识别的差距.
• 开发一个框架,克服信息缺陷和多视图事件数据中的语义 misalignment.
• 引入一个全面的数据集,以推进基于事件的多视图行动识别研究.

主要方法:

• 超级MV框架将离散事件数据转换为类似框架的表示.
• 一个共享的卷积网络提取与视图相关的特征.
• 具有顶点注意力的多视图超图神经网络用于跨视点和时间的关系捕获和特征融合.

主要成果:

• 在跨主题和跨视图行动识别方面,HyperMV显著优于现有的方法.
• 拟议的框架超越了基于框架的多视角行动识别的最新成果.
• 作为同类中最大的THUMV-EACT-50数据集,有助于进一步的研究.

结论:

• HyperMV有效地处理多视图基于事件的动作识别挑战.
• 该框架展示了卓越的性能和概括能力.
• 新的数据集和框架为未来该领域的进步铺平了道路.