LoRA強化DinoV2とインタラクティブな時空間モデリングによるマイクロ表情認識

背景:

• マイクロ表情認識（MER）は、その短い持続時間、低い強度、および複雑な空間周波数パターンにより、課題に直面しています。
• 既存のMER手法は、しばしば広範な前処理とかなりの計算リソースを必要とします。
• 微妙な顔のテクスチャの変動は、捉えて分析するのが難しいです。

研究 の 目的:

• 計算コストを削減しながら精度を向上させる新しいMERアーキテクチャを導入すること。
• 効率的なMERのために、周波数領域変換とグラフベースの時間モデリングを統合すること。
• 適応的空間周波数分解により、微妙な顔の動きに対する感度を高めること。

主な方法:

• 計算効率のためにLoRA（Low-Rank Adaptation）で大規模特徴抽出モデルをファインチューニングすること。
• 空間周波数を分解および動的に重み付けするために、空間周波数適応（SFA）モジュールを実装すること。
• グラフアテンションネットワークとLSTMを時間モデリングのために組み合わせた動的グラフアテンション時間（DGAT）ネットワークを利用すること。

主要な成果:

• 提案されたMERアーキテクチャは、SAMM、CASME II、およびSMICデータセットで優れたパフォーマンスを達成しました。
• SAMMの5クラス設定では、アプローチは重みなしF1スコア（UF1）81.16％、重みなし平均リコール（UAR）85.37％を達成しました。
• この手法は、UF1とUARの両方で既存のアプローチを大幅に上回りました。

結論:

• 新しいMERアーキテクチャは、短い持続時間、低い強度、および空間周波数の変動という課題を効果的に解決します。
• 周波数領域分析とグラフベースの時間モデリングの統合は、MERに対して効率的で正確なアプローチを提供します。
• 提案された手法は、実際のマイクロ表情分析アプリケーションに大きな可能性を示しています。