无声语音眼镜接口:使用眼镜和带有红外距离传感器的耳机麦克风的无声语音识别方法
Yuya Igarashi1, Kyosuke Futami1,2, Kazuya Murao1
1Graduate School of Information Science and Engineering, Ritsumeikan University, 2-150 Iwakuracho, Ibarakishi 567-8570, Japan.
Sensors (Basel, Switzerland)
|November 27, 2024
概括
这项研究引入了一种新的沉默语音交互 (SSI) 方法,使用眼镜上的红外传感器. 这种无手接口准确地识别无声语音命令,为智能眼镜提供了新的输入.
科学领域:
- 人与计算机的交互
- 可穿戴技术可穿戴技术
- 生物医学工程 生物医学工程
背景情况:
- 智能眼镜需要多功能,始终可用的输入方法.
- 无声语音交互 (SSI) 提供无手控制,特别是对于言语困难的人来说.
- 现有的SSI方法通常依赖于繁的传感器.
研究的目的:
- 开发和评估一种使用眼镜集成红外传感器的新型SSI方法.
- 为了使无手式无声语音命令识别能够用于可穿戴设备.
- 为智能眼镜建立一个可行的和可访问的SSI解决方案.
主要方法:
- 开发了一种带有红外距离传感器的眼镜设备,以捕捉发言期间的面部皮肤运动.
- 应用机器学习对时间序列传感器数据进行无声语音命令识别.
- 使用了一种原型系统,采用眼镜和耳机上的麦克风来收集数据.
主要成果:
- 在五个语音命令 (F值0.90) 和十个更长的命令 (F值0.83) 中实现了高识别精度.
- 使用深度学习 (LSTM) 和组合分类器 (DTW,kNN) 识别21个命令的可行性已被证明.
- 在各种条件下确认识别准确性,包括设备重新安装和行走.
结论:
- 建议的基于眼镜的SSI方法可用于创建简单的无手输入接口.
- 这项研究介绍了首个可穿戴传感方法,用于将SSI集成到眼镜中.
- 该技术对媒体播放器和语音助理有潜在的应用.
