手のジェスチャーの多様式認識のためのダブルパスの時空融合戦略を,四肢位置の変動性の下で評価する
Shen Zhang1, Hao Zhou1, Rayane Tchantchane2
1School of Mechanical, Materials, Mechatronic and Biomedical Engineering, University of Wollongong Faculty of Engineering and Information Sciences, Northfields Avenue, 2522 NSW, Wollongong, New South Wales, 2522, Australia.
Journal of neural engineering
|February 16, 2026
まとめ
表面電気ミオグラフィ (sEMG) とフォースミオグラフィ (pFMG) を用いた手のジェスチャー認識のためのベースライン連鎖ベースのモデルは95.88%の精度を達成しました. このアプローチは,リアルタイムで義手の手の制御のためのパフォーマンスと効率の好ましいバランスを提供します.
科学分野:
- バイオメディカルエンジニアリング
- 人間とコンピュータの相互作用です.
- 機械学習 (Machine Learning) とは,機械学習 (Machine Learning) について学ぶことです.
背景:
- バイオシグナルベースのハンドジェスチャー認識 (HGR) は,義肢の手の制御に不可欠です.
- 肢体の位置の変動性と現実世界の要因は,HGRの信頼性を挑戦します.
- 同位置の表面電気ミオグラフィ (sEMG) と圧力ベースの力ミオグラフィ (pFMG) は,補完的なセンシングを提供します.
研究 の 目的:
- sEMGとpFMGの統合のためのダブルパスの時間融合アーキテクチャを体系的に比較する.
- 頑丈性,計算効率,および義肢使用のための解釈可能性に基づいてアーキテクチャを評価する.
- ウェアラブルHMIシステムのための最適な融合戦略を特定する.
主な方法:
- 3つの二重経路のテンポラルコンボリューションネットワーク (DFF-TCN) アーキテクチャを調査しました:連鎖ベースの,決定レベルのクロスアテンション,および機能レベルのクロスアテンション.
- 10人の参加者からカスタムデータセットでモデルを評価し,さまざまな腕の姿勢で9つの手振りを行いました.
- sEMGとpFMGの貢献の説明可能なAI分析のための統合グラディエンスを利用しました.
主要な成果:
- 連鎖ベースのDFF-TCNは,平均精度 (95.88%) で最高,推論遅延率 (1.70 ms) で最低を達成しました.
- 注意に基づく変数は,わずかに低い精度 (90.65%と94.02%) を示した.
- 説明可能なAIは,sEMG (54.08%) とpFMG (45.92%) の補完的な貢献を明らかにしました.
結論:
- 異なる融合戦略は,認識性能,計算コスト,および堅牢性との間のトレードオフを提示します.
- コンカテネーションベースのモデルは,リアルタイムの義肢制御のための実用的なバランスを提供します.
- 発見は,ウェアラブルHMIおよび義肢アプリケーションのためのマルチモデルの融合アーキテクチャの選択を導く.
