JMM-TGT：関節運動マスキングとトポロジー誘導トランスフォーマーによる自己教師あり3Dアクション認識

科学分野:

• コンピュータビジョン
• 機械学習
• 人工知能

背景:

• 3Dスケルトンアクション認識における自己教師あり学習は、しばしば単一の運動特徴に焦点を当てています。
• このアプローチは、微妙な運動の変動と複雑な時空間的関係を捉えることを制限し、不完全なアクションの理解につながります。

研究 の 目的:

• 強化された3Dスケルトンアクション認識のための新しいモデル、関節運動マスキングとトポロジー誘導トランスフォーマー（JMM-TGT）を提案すること。
• モデルの微妙な関節運動を認識し、複雑な時空間依存関係を捉える能力を向上させること。

主な方法:

• 関節運動の違いと類似性に基づいてマスキング確率を生成し、各タイムステップでの関節マスキングをガイドする関節運動マスキング（JMM）を実装しました。
• 関節間のトポロジー関係を組み込み、時空間依存関係のより良いキャプチャのために注意メカニズムを調整するトポロジー誘導トランスフォーマーエンコーダーを統合しました。

主要な成果:

• JMM-TGTモデルは、さまざまな評価設定で1.5％から7.9％のパフォーマンス向上を示しました。NTU RGB+D 60、NTU RGB+D 120、PUK-MMDデータセットで、主流のアクション認識モデルとの比較実験を実施しました。

結論:

• 提案されたJMM-TGTモデルは、既存の自己教師あり方法の限界に対処することにより、3Dスケルトンアクション認識を効果的に強化します。
• 関節運動マスキングとトポロジー誘導注意の組み合わせは、人間の行動における複雑な動的パターンの理解を大幅に向上させます。