TENGベースの自己駆動型サイレントスピーチ認識インターフェイス：支援コミュニケーションから没入型AR/VRインタラクションまで
Shuai Lin1, Yanmin Guo1, Xiangyao Zeng1
1School of Physics and Information Engineering, Fuzhou University, Fuzhou, 350108, People's Republic of China.
Nano-micro letters
|January 11, 2026
まとめ
この研究は、柔軟な圧力センサーと深層学習を使用した新しいサイレントスピーチ認識システムを紹介します。これは、コミュニケーションと非接触デバイス制御を強化するために、正確に唇の動きを音声信号にデコードします。
科学分野:
- 生物医学工学
- ヒューマンコンピュータインタラクション
- 材料科学
背景:
- サイレントスピーチコミュニケーションは、言語障害のある個人にとって重要な分野です。
- サイレントスピーチ認識のための顎運動の正確なリアルタイム取得とデコードは依然として困難です。
- 既存の方法は、信頼性の高いサイレントスピーチデコードに必要な感度と精度を欠いています。
主な方法:
- FPSに多孔質ピラミッド構造のシリコーンフィルムを使用して、高感度な低力圧力検出を実現しました。
- 信号デコードのために畳み込みニューラルネットワーク-長期短期記憶（CNN-LSTM）ハイブリッドネットワークを開発しました。
- リアルタイムのサイレントスピーチ取得と認識のために、FPSとCNN-LSTMモデルを統合しました。
結論:
- 提案されたシステムは、サイレントスピーチ認識とコミュニケーションのための有望なソリューションを提供します。
- 高度なセンサーと深層学習の統合により、正確な非接触型ヒューマンマシンインタラクションが可能になります。
- AR/VR環境や言語障害のある個人のための支援技術に応用できる可能性があります。
