一个全面的多式联络数据集,用于非接触式唇读和声学分析
Yao Ge1, Chong Tang1,2, Haobo Li3
1James Watt School of Engineering, University of Glasgow, Glasgow, G12 8QQ, UK.
Scientific data
|December 13, 2023
概括
这项研究介绍了RVTALL,这是一种新的多式联络数据集,用于使用射频,视觉和音频数据进行语音识别. 它支持非侵入性运动检测和多式联络语音增强方面的研究.
科学领域:
- 语音识别 语音识别 语言识别
- 遥感 遥感 遥感 遥感
- 多模式数据分析 多模式数据分析
背景情况:
- 语音识别的非侵入式遥感是一个不断增长的研究领域.
- 现有的数据集可能无法捕捉完整的语音相关数据来进行高级分析.
- 需要综合数据集,结合各种传感方式.
研究的目的:
- 介绍RVTALL数据集,这是一个用于语音识别的新型多式联络资源.
- 促进从各种来源提升和恢复语音信息的研究.
- 支持先进语音识别和唇读技术的发展.
主要方法:
- RVTALL数据集集成了来自超宽带 (UWB) 雷达 (7.5 GHz) 的频道脉冲响应 (CIR) 数据.
- 它包括来自毫米波 (mmWave) 雷达 (77 GHz) 的频率调制连续波 (FMCW) 数据,视觉,音频和激光数据.
- 使用深度摄像头捕捉了唇部的地标和语音数据,约有20名参与者的400分钟的注释语音个人资料.
主要成果:
- 数据集包括各种数据类型,包括雷达 (UWB,毫米波),视觉,音频,激光和唇部地标.
- 它包含20名参与者的录音,涵盖元音,单词和句子,总共约400分钟.
- 该数据集已被验证,证明其对语音识别研究的有用性.
结论:
- RVTALL数据集提供了一种独特的多式联络方法,用于推进语音识别.
- 它为调查唇读和多模式语音增强提供了宝贵的资源.
- 这一数据集对未来的非侵入性语音分析研究有很大的潜力.
