眼球追跡感情認識のための時間的カプセル特徴ネットワーク

科学分野:

• 生理学的信号解析
• 感情コンピューティング
• ヒューマンコンピュータインタラクション

背景:

• 視線追跡（ET）パラメータは、感情認識のための貴重な生理学的信号です。
• 現在の方法は、ETデータから時間的ダイナミクスと感情特異的な特徴を抽出するのに苦労しています。
• 課題には、モデルの堅牢性と個人一般化能力の制限が含まれます。

研究 の 目的:

• 強化された視線追跡ベースの感情認識のための新しい時間的カプセル特徴ネットワーク（TCFN）を提案すること。
• 既存モデルにおける時間的ダイナミクス情報抽出と特徴特異性の限界に対処すること。
• 感情認識システムの堅牢性と個人一般化能力を向上させること。

主な方法:

• 時間的ダイナミクスを考慮したウィンドウ特徴モジュールを組み込んだ時間的カプセル特徴ネットワーク（TCFN）を開発しました。
• 特徴の相互依存性を捉えるために、特殊なカプセルネットワークモジュールを利用しました。
• 最適なパフォーマンスのために、MLP分類モジュールとデュアルロス機構を実装しました。

主要な成果:

• eSEE-dデータセットで、覚醒度（Arousal）で83.27%、価数（Valence）（3クラス）で89.94%の平均精度を達成しました。
• SEED-IVデータセットで、セッションを横断した4カテゴリの感情認識で63.85%の精度を達成しました。
• 感情認識タスクにおけるTCFNモデルの優位性を示しました。

結論:

• 提案されたTCFNは、視線追跡データから時間的ダイナミック情報と感情特異的な特徴を効果的に抽出します。
• TCFNは、感情認識の精度と一般化において大幅な改善を示しています。
• このアプローチは、高度な感情コンピューティングシステムに向けた有望な方向性を提供します。