攻撃拡張混合対照的骨格表現学習

科学分野:

• コンピュータビジョン
• 機械学習
• 人工知能

背景:

• 教師なしアクション認識は、ポシティブサンプルとネガティブサンプルのペアを使用した対照学習に依存しています。
• 既存の方法ではペア構築にデータ拡張が使用されていますが、これらは意味的なバリエーションが不足しており、ペアの境界が不明瞭になることがよくあります。
• 骨格のランダムな外観の変更は、意味のある意味的な違いを捉えられず、対照的な目的を弱めます。

研究 の 目的:

• 骨格データに意味のある摂動を生成するための、攻撃駆動型拡張フレームワークを開発すること。
• 教師なしアクション認識における堅牢な表現学習のために、情報量の多いハードポシティブサンプルとハードネガティブサンプルを作成すること。
• 強化された対照学習のために、新しいフレームワーク、攻撃拡張混合対照的骨格表現学習（A^2MC）を導入すること。

主な方法:

• ターゲット（攻撃ベース）と非ターゲット（拡張ベース）の摂動を統合した攻撃拡張（Att-Aug）モジュールを提案し、ハードポシティブサンプルを生成しました。
• ハードポシティブとハードネガティブの特徴をブレンドすることにより、挑戦的なハードネガティブを合成するためのポシティブネガティブミキサー（PNM）を導入しました。
• 対照学習の改善のために、合成ハードネガティブで更新された混合メモリバンクを実装しました。

主要な成果:

• A^2MCフレームワークは、意味的に豊かなハードポシティブサンプルとハードネガティブサンプルを効果的に生成します。
• 提案手法は、アクション認識のための骨格表現の堅牢性を大幅に向上させます。
• 3つのベンチマークでの評価により、A^2MCのパフォーマンスは最先端の方法と同等またはそれ以上であることが示されています。

結論:

• 攻撃駆動型拡張は、対照学習において情報量の多いサンプルペアを作成するためのより効果的な戦略を提供します。
• A^2MCフレームワークは、教師なし骨格ベースのアクション認識のための新しい効果的なアプローチを提供します。
• この方法は、表現学習を進歩させるための明示的な意味的摂動の可能性を示しています。