一个基于可穿戴式运动捕捉和语音运动重建的数据效率高,易于使用的口唇语言界面
Shiqiang Liu1, Terry Fawden2, Rong Zhu1
1State Key Laboratory of Precision Measurement Technology and Instrument, Department of Precision Instrument, Tsinghua University, Beijing 100084, China.
Science advances
|June 26, 2024
概括
这项研究引入了一个可穿戴的唇语解码系统,用于准确,无干扰的唇读. 它使用人工数据来训练解码器,以最小的用户培训实现高精度.
科学领域:
- 人与计算机的交互
- 语音处理 语音处理
- 可穿戴技术可穿戴技术
背景情况:
- 当前的唇读技术缺乏可靠性,需要大量的数据,并且很难泛化.
- 需要用户友好,可穿戴的界面,以实现高保真度的唇部运动采集.
研究的目的:
- 开发一种可穿戴的唇语解码技术,用于无干扰,高保真的唇读.
- 为流利的唇语识别创建数据效率高的解码器建模方法.
主要方法:
- 利用可穿戴式运动捕捉来获取唇部运动.
- 开发了一种用于连续唇语运动重建的方法.
- 从有限的用户单词样本中人工生成连续语音数据集.
主要成果:
- 在七个个人的连续,流利的嘴唇语音识别中获得了92.0%的平均准确性.
- 在没有用户特定培训的情况下成功识别了93个英语句子.
- 由于人工生成的数据集,没有证明对用户的培训负担.
结论:
- 拟议的方法为唇语识别提供了一个数据高效和用户友好的范式.
- 可穿戴技术与数据增强相结合,显著提高了唇读精度和可访问性.
- 尽量减少用户的训练负载,使先进的唇读技术更加实用.
相关概念视频
01:11Genetic Lingo
Overview
01:24Pulse Oximetry
Pulse oximetry, or SpO2, is a non-invasive method for continuously monitoring arterial oxygen saturation (SaO2). This procedure involves attaching a probe or sensor to the patient's fingertip, forehead, earlobe, or nose bridge. The sensor works by detecting changes in oxygen saturation levels through light signals generated by the oximeter and reflected by the pulsing blood under the probe.
Purpose
Average SpO2 values are greater than 95%. If the readings fall below 90%, it indicates that...
Purpose
Average SpO2 values are greater than 95%. If the readings fall below 90%, it indicates that...