極端なポーズにおける顔表情認識のためのLLMベースのポーズ正規化とマルチモーダル融合

科学分野:

• コンピュータサイエンス
• 人工知能

背景:

• 顔表情認識（FER）システムは、非正面または回転した顔の精度に苦労しています。
• 現在のFER方法はポーズ変動によって制限されており、実世界のアプリケーションを妨げています。

研究 の 目的:

• 大きなポーズ変動によってもたらされる課題に対処することにより、FERの精度を向上させること。
• プロファイル画像および大角度回転顔画像からの表情を認識できる堅牢なFER方法を開発すること。

主な方法:

• プロファイルから正面への画像変換とマルチモーダル学習を組み合わせた新しいFER方法を提案しました。
• プロファイル画像を表情の特徴を保持しながら正面ビューに変換するためにQwen-Image-Editを利用しました。
• 表情特徴のセマンティック表現を改善するために、ビジョン言語共同学習のためにCLIPモデルを採用しました。

主要な成果:

• RAF (89.39%), EXPW (67.17%), AffectNet-7 (62.66%) のベンチマークデータセットで高い精度を達成しました。
• 特に困難なポーズにおいて、既存のFERアプローチと比較して優れたパフォーマンスを示しました。

結論:

• 提案されたプロファイルから正面への変換とマルチモーダル学習アプローチは、FERにおけるポーズ変動の問題を効果的に軽減します。
• この方法は、実用的で正確な顔表情認識システムにとって重要な進歩を提供します。