MMSTG-Net：マルチモーダル感情認識のためのマルチスケール時空間グラフネットワークとクロスモーダル対照アライメント

科学分野:

• 神経科学; コンピュータサイエンス; 精神医学

背景:

• 精神医学における現在の感情認識方法は、主観的で時間的制約のある自己報告に依存しています。; 客観的で精密な感情評価ツールの必要性が高まっています。

研究 の 目的:

• 正確な感情分類のためのマルチモーダル時空間グラフネットワーク（MMSTG-Net）を開発すること。; EEGおよびアイトラッキングからの時間的ダイナミクス、脳接続性、およびクロスモーダルデータを共同でモデル化すること。

主な方法:

• マルチモーダル時空間グラフネットワークであるMMSTG-Netを開発しました。; 脳波（EEG）およびアイトラッキングデータを利用しました。; 7クラスの感情分類のために、SEED-VIIおよびSEED-IVの公開データセットで評価しました。

主要な成果:

• SEED-VIIデータセットで最先端のパフォーマンスを達成しました（被験者依存82.74％、被験者間63.06％）。; SEED-IVデータセットで競争力のある結果を得ました（被験者依存87.50％、被験者間84.85％）。; 剥奪研究により、個々のネットワークモジュールと融合設計の効果が確認されました。

結論:

• MMSTG-Netは、EEGおよびアイトラッキングを使用した感情認識において強力なパフォーマンスを示しています。; このモデルは、将来の臨床感情評価を支援する研究ツールとしての可能性を示しています。; 臨床応用には、さらなる多施設共同の前向き検証が必要です。