複数のモダリティでEEGとディープラーニングを使用して触覚体験を評価する:刺激と自己報告をリンクする

科学分野:

• 神経科学は神経科学である.
• 人とコンピュータの相互作用です.
• 機械学習 (Machine Learning) とは,機械学習 (Machine Learning) について学ぶことです.

背景:

• 伝統的なハプティックインタフェースの評価は,主観的な自己報告を使用し,客観性とリアルタイム適応を制限します.
• 認知ハプティックインターフェイスは,電気脳図 (EEG) やディープラーニングなどの神経生理学的測定を客観的な評価のために利用します.
• 重要な課題は,物理的刺激 (PS) パラメータまたは自己報告 (SR) 認識を使用して,神経応答をラベル付けすることです.

研究 の 目的:

• EEGベースのハプティックフィードバックのためのディープラーニングモデルのパフォーマンスに対するPS対SRベースのラベリングの影響を体系的に調査する.
• 4つのハプティックフィードバック方式でPSとSRのラベリングスキームの有効性を比較する.
• 触覚刺激に対する神経応答の解読におけるモデルの安定性と精度に,どのようにラベリングが影響するかを決定する.

主な方法:

• PSパラメータとSR知覚の両方によってラベル付けされたEEGデータを使用して,訓練されたディープラーニングモデル (ATCNet,EEG Inception,EEG Conformer) を使用します.
• 4つのハプティックモードでモデルのパフォーマンスを評価した:遅延力フィードバック (DFF),指先の振動フィードバック (FVF),上部体の振動フィードバック (UVF),指先の熱フィードバック (FTF).
• モデルの汎用性を評価するために,グループレベルのLOSO (leave-one-subject-out) クロス検証戦略を採用しました.

主要な成果:

• PSラベリングで訓練されたモデルは,SRラベルのモデルと比較して,一貫して,すべてのテストモードにおいて,より安定した,より高いパフォーマンスを示しました.
• PSラベル付きモデルのパフォーマンスの向上は,SRラベルがより大きな個体間変動性を示す,知覚値に近い刺激レベルで最も顕著でした.
• EEGベースのモデルは,主観的な報告よりも,特に曖昧な知覚条件において,身体的刺激のパラメータとより密接に一致しました.

結論:

• 身体刺激 (PS) ラベル付けは,自己報告 (SR) ラベル付けと比較して,認知ハプティックインターフェイスでディープラーニングモデルをトレーニングするためのより堅牢で客観的なアプローチを提供します.
• PSで訓練されたデコーダーは,ハプティックフィードバックシステムの効果的な基礎表現として機能し,ユーザー固有のSRデータに適応できます.
• この研究は,より信頼性の高い,適応性の高いハプティックインターフェースを開発するために,特に難易度の高い知覚システムにおいて,PSベースのモデルの使用をサポートしています.