IoT環境におけるリアルタイムマルチモダルの感情認識のためのマルチスケールタイムフュージョンネットワーク

Sungwook Yoon¹, Byungmun Kim²

¹Gyeongbuk Development Institute, 201 Docheong-daero, Homyeong-eup, Yecheon 36849, Gyeongsangbuk-do, Republic of Korea.

Sensors (Basel, Switzerland)

|August 28, 2025

まとめ

新しいアーキテクチャであるEmotionTFNは,さまざまな時間スケールでマルチセンサデータを融合させることで,モノのインターネット (IoT) の感情認識を強化します. エッジデバイスで高い精度と効率を達成し,プライバシーを確保します.

科学分野:

人工知能
人とコンピュータの相互作用
信号処理

背景:

物事のインターネット (IoT) の感情認識は,多様なセンサーデータと時間スケールで課題に直面しています.
既存の方法は,リソースが限られたIoTデバイスの精度,レイテンシー,エネルギー効率のバランスをとるのに苦労しています.
多様性センサーデータ (生理学,視覚,音声) を処理するには,高度な融合技術が必要です.

研究の目的:

エモーションTFNを紹介します精密なIoT感情認識のための新しい階層的なタイムフュージョンネットワークです
エッジデバイスに感情認識システムの効率的な展開を可能にします
提案されたアーキテクチャの性能と現実世界の適用性を検証する.

主な方法:

エモーション・マルチスケール・テンポラル・フュージョン・ネットワーク (EmotionTFN) を開発した.
短期,中期,長期にわたる統合された生理学 (EEG,PPG,GSR),視覚,および音声データ.
応用エッジコンピューティングの最適化:モデル圧縮,量子化,適応型サンプリング.

主要な成果:

MELD,DEAP,G-RExのデータセットにおけるディメンショナル予測における94.2%の精度と0.087の平均絶対誤差を達成した.
IoTハードウェアで200ms未満のレイテンシーが実証され,エネルギー効率が40%向上しました.
97.2%の稼働時間と高いユーザー満足度 (4.1/5.0) を有する実用展開が検証されました.

結論:

エモーションTFNは,複数のタイムスケールでIoTの感情認識のためのマルチモダルセンサーデータを効果的に処理します.
エッジコンピューティングの最適化により,リソースが限られたデバイスで効率的で正確な感情認識が可能になります.
このシステムは,高い性能と信頼性を維持しながら,ローカルなデータ処理を通じてユーザーのプライバシーを確保します.

キーワード:

モノのインターネットエッジコンピューティング感情を認識するマルチモダル融合リアルタイム処理時間的な注意

さらに関連する動画