通过深度自动口唇阅读增强视觉语音感知:一个系统的审查
Griffani Megiyanto Rahmatullah1, Shanq-Jang Ruan2, I Wayan Wiprayoga Wisesa3
1Department of Electronic and Computer Engineering, National Taiwan University of Science and Technology, No. 43, Sec. 4, Keelung Rd, Taipei, 10607, Taiwan; Electrical Electronic Engineering, Politeknik Negeri Bandung, Jl. Gegerkalong Hilir, Ciwaruga, Kec. Parongpong, Bandung, 40012, West Java, Indonesia.
Computers in biology and medicine
|March 29, 2025
概括
人工智能 (AI) 和深度学习正在推进自动唇读技术,以改善听力障碍患者的沟通. 虽然最先进的模型显示出希望,但数据限制和环境因素等挑战需要进一步研究.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 听力损失带来了重要的沟通障碍.
- 传统的沟通辅助工具,如手语和手动唇读有其局限性.
- 由人工智能驱动的软件提供了新兴的,更有效的通信解决方案.
研究的目的:
- 进行关于自动唇读研究趋势的系统文献综述 (SLR).
- 分析自动唇读系统中的进步,数据集,任务和架构.
- 确定该领域的挑战和未来方向.
主要方法:
- 按照PRISMA协议进行的系统文献审查 (SLR).
- 分析了2014年至2024年中期发表的114篇研究文章.
- 趋势,数据集,任务类别,方法和架构的总结.
主要成果:
- 深度学习模型在自动唇读中展示了最先进的性能.
- 在各种技术和先进的深度学习架构方面取得了重大进展.
- 关键的挑战包括数据不足,环境变化和语言多样性.
结论:
- 自动读唇技术,特别是使用深度学习的技术,正在迅速发展.
- 解决数据稀缺性,环境稳定性和语言包容性对于未来的发展至关重要.
- 人工智能驱动的口唇阅读具有很大的潜力,可以增强听力障碍者的沟通.


