一种基于视觉变压器的人类活动识别方法
Huiyan Han1,2,3, Hongwei Zeng4,5,6, Liqun Kuang4,5,6
1School of Computer Science and Technology, North University of China, Taiyuan, 030051, China. 20050537@nuc.edu.cn.
Scientific reports
|July 3, 2024
概括
本研究介绍了HAR-ViT,这是一种使用视觉转换器 (ViT) 和增强图形卷积网络 (GCNs) 识别人类活动的新方法. HAR-ViT通过有效处理时空骨架数据来实现最先进的性能.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 人类活动识别 (HAR) 对于监控和智能交互等应用至关重要.
- 图形卷积网络 (GCNs) 在HAR中表现有前途,但面临着过度平滑和捕捉长距离时间依赖等挑战.
- 视觉变压器 (ViT) 在基于图像的任务中表现出强的表现.
研究的目的:
- 提出一种新的人类活动识别方法,HAR-ViT,利用视觉转换器 (ViT) 架构.
- 解决现有的基于GCN的方法在捕捉时空动态和远程运动方面的局限性.
- 为了提高3D骨数据的处理,提高HAR准确度.
主要方法:
- 在ViT框架中集成增强的AGCL (eAGCL),以处理时空骨架数据.
- 使用位置编码器来管理非序列信息和变压器编码器来有效地压缩序列数据.
- 采用多层感知器 (MLP) 分类器用于最终的人类活动识别.
主要成果:
- 拟议的HAR-ViT方法实现了最先进的 (SOTA) 性能.
- 在三个标准数据集上证明了有效性:NTU RGB+D 60,NTU RGB+D 120和Kinetics-Skeleton 400.
- 成功处理3D骨架数据,捕获空间特征并提高计算速度.
结论:
- HAR-ViT为人类活动识别提供了一种强大的新方法.
- 将ViT与增强的GCN组件集成,有效地解决了时空数据分析中的现有挑战.
- 该方法显示了对需要准确和高效的活动识别的现实应用的巨大潜力.
