相关实验视频
Updated: Jul 14, 2026

12:33
Corticospinal Excitability Modulation During Action Observation
Published on: December 31, 2013
8.8K
基于骨架的动作识别的双流时空GCN转换器网络.
Dong Chen1,2,3, Mingdong Chen4,5, Peisong Wu4,5
1Guangxi Normal University, College of Computer Science and Engineering, Guilin, 541000, China. hgccd@qq.com.
Scientific reports
|February 10, 2025
概括
本研究引入了基于骨架的动作识别的新并行架构,通过集成图形卷积网络 (GCN) 和变压器模型来提高准确性. 这种新的方法增强了运动信息编码,以提高人类行动识别性能.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 以前的基于骨架的动作识别方法经常使用串行GCN和注意力,忽视了关键的间接骨架关系.
- 这种限制妨碍了准确性,因为它将骨架视为孤立的,俯着相关但间接连接的部分.
研究的目的:
- 提出一种新的架构,SA-TDGFormer,它克服了序列方法的局限性,用于准确的基于骨架的动作识别.
- 通过有效地整合本地和全球的时空特征来增强运动信息编码.
主要方法:
- 引入了结合图形卷积网络 (GCNs) 和变压器模型 (SA-TDGFormer) 的并行架构.
- 采用双流结构:用于拓和运动表示的时空GCN流,以及用于全球关联关系的时空变压器流.
- 利用后期的融合策略,将两个流的互补特征合并,丰富了动作表示.
主要成果:
- 在NTU RGB+D 60,NTU RGB+D 120和Kinetics-Skeleton数据集上的实证验证表明了模型的有效性.
- 与现有框架相比,在NTU RGB+D 60数据集上实现了1-5%的人类行动识别精度的改进.
- 平行结构有效地捕捉了本地和全球的时空特征,从而实现了卓越的识别性能.
结论:
- 拟议的SA-TDGFormer模型显著提高了基于骨架的动作识别精度.
- 平行GCN和变压器架构有效地解决了以前串行方法的局限性.
- 这种方法为编码人类运动动态提供了更强大,更准确的方法.

