利用自主监督的视听预训练模型,在耳植入物模拟中提高声编码语音可理解性
IEEE transactions on bio-medical engineering
|October 2, 2025
概括
本研究介绍了基于自主监督学习的视听语音增强 (SSL-AVSE),以提高听力障碍者使用耳植入模拟器的语音理解. 通过整合视觉线索,SSL-AVSE显著提高了语音质量和可理解性.
科学领域:
- 听力学 听力学是指听力学.
- 语音处理 语音处理
- 机器学习 机器学习
背景情况:
- 听力障碍在语音理解方面存在重大挑战,特别是在杂的环境中.
- 耳植入物 (CIs) 旨在恢复听力,但可能与语音可理解性,特别是处理 (语音编码) 语音扎.
- 视听语音增强 (AVSE) 通过利用视觉线索,如唇部运动,提供了一个潜在的解决方案.
研究的目的:
- 评估基于自主监督学习的新型视听语音增强 (SSL-AVSE) 框架的有效性,以改善耳植入物 (CI) 模拟中的语音编码语音可理解性.
- 与现有方法相比,研究SSL-AVSE的性能.
- 评估拟议模型的跨语言概括能力.
主要方法:
- 开发了SSL-AVSE框架,将视觉语音线索 (唇/嘴部运动) 与音频集成在一起.
- 使用AV-HuBERT模型进行特征提取和双向LSTM进行改进.
- 对台湾普通话语语音与视频 (TMSV) 数据集进行了实验.
主要成果:
- 客观指标显示了显著的改善:PESQ从1.43增加到1.67,STOI从0.70改善到0.74.
- 与噪音基线相比,NCM得分增加了高达87.2%.
- 主观听力测试显示,语音质量的最大提升为45.2%,单词理解率为51.9%.
结论:
- 在CI模拟中,SSL-AVSE在CI模拟中表现出优于AOSE和传统AVSE基线的性能.
- 从统计学上显著的听力测试证实了SSL-AVSE的有效性.
- 该模型表现出跨语言的概括性,尽管进行了英语预训练,但在普通话演讲中表现得很好,这突显了基础模型特征的稳定性.
