DMMG:双Min-Max游戏用于自我监督的基于骨架的动作识别.

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 基于骨的动作识别对于人机交互至关重要.
• 自主监督学习提供了一种有希望的方法来利用未标记的骨架数据.
• 现有的方法往往难以产生多样化和具有挑战性的培训样本.

研究的目的:

• 提出一种基于双Min-Max游戏 (DMMG) 的自主监督方法,用于骨动作识别.
• 在使用对抗游戏的对比学习框架中增强数据增强.
• 从未标记的骨架数据中改进对歧视性行为特征的学习.

主要方法:

• 开发了一个双Min-Max游戏 (DMMG) 框架,包含一个视角变化游戏和一个边缘扰动游戏.
• 在骨架序列和图形结构的身体关节上使用对抗性范式进行数据增强.
• 通过不同的视角和扰乱身体关节之间的连接强度产生了硬的对比对.

主要成果:

• 视角变化游戏从多个视角创建多样化的骨架序列.
• 边缘扰动游戏通过改变关节连接性来产生多样化的对比样本.
• 在广泛使用的数据集 (NTU-RGB+D,NTU120-RGB+D,PKU-MMD) 上取得了卓越的结果,证明了有效的动作特征表示.

结论:

• 提出的DMMG方法有效地产生了具有挑战性的对比对,用于自我监督的学习.
• 这种方法使模型能够学习代表性行动特征,并促进向下游任务的转移.
• 该方法在使用未标记数据的骨架动作识别方面实现了最先进的性能.