相关实验视频
Updated: Nov 9, 2025

04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
395
多模式增强变压器网络用于基于骨架的人类互动识别
1School of Microelectronics and Communication Engineering, Chongqing University, Chongqing 400044, China.
Biomimetics (Basel, Switzerland)
|March 27, 2024
概括
本研究介绍了多模式增强变压器 (ME-Former),用于改进基于骨架的人类交互识别. ME-Former有效地整合了互补的骨特征,并增强了两人互动的捕捉力.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 基于骨的人类互动识别在计算机视觉中至关重要.
- 图形卷积网络 (GCNs) 模拟骨架,但在多模式特征集成和两人互动方面遇到了困难.
研究的目的:
- 为了解决基于骨架的人类互动识别现有的基于GCN的方法的局限性.
- 提出一个新的网络,有效地利用互补的骨特征,捕捉复杂的双人互动.
主要方法:
- 开发了多模式增强变压器 (ME-Former) 网络.
- 引入了一个多模态增强 (ME) 模块,具有多头跨模态注意力 (MH-CA) 和两人超图自我注意力 (TH-SA) 块.
- 提出了一个两人骨架拓和超图表的表征,用于增强的交互建模.
- 整合了一个上下文渐进融合 (CPF) 块,以实现高效的特征转换.
主要成果:
- ME-Former在NTU-RGB+D 60和NTU-RGB+D 120数据集上表现出卓越的性能.
- 拟议的MH-CA和TH-SA块有效地增强了骨特征,并捕获了空间依赖.
- 该CPF块使多模式骨特征的有效融合成为可能.
结论:
- 在基于骨架的人类互动识别中,ME-Former显著超过了最先进的方法.
- 拟议的架构有效地解决了多模式功能集成和双人交互建模的挑战.
- ME-Former为推进人类互动识别研究提供了一个有希望的方向.

