基于深度学习的眼神手语通信系统,适用于语言障碍者
Rajesh Kannan Megalingam1, Sakthiprasad Kuttankulangara Manoharan1, Gokul Riju1
1Humanitarian Technology (HuT) Labs, Department of Electronics and Communication Engineering, Amrita Vishwa Vidyapeetham, Amritapuri, India.
Disability and rehabilitation. Assistive technology
|July 20, 2025
概括
这项研究引入了面向言语障碍患者的眼神手语通信系统,在没有校准的情况下实现了高精度. 这种新系统提高了增强型和替代型通信 (AAC) 的可访问性.
科学领域:
- 计算机科学 计算机科学
- 生物医学工程 生物医学工程
- 人与计算机的交互
背景情况:
- 运动和语言障碍的人面临沟通障碍.
- 增强型和替代性沟通 (AAC) 方法包括眼神和眼神信号.
- 目前的眼神系统需要校准,对照明敏感;眼神标志研究还在芽.
研究的目的:
- 为语言障碍者开发基于眼睛手语的沟通系统.
- 克服现有的眼神技术的局限性,例如校准和照明灵敏度.
- 推进眼睛手势沟通方面的研究.
主要方法:
- 一个基于深度学习的系统,使用标准的网络摄像头来捕捉眼睛的标志模式.
- 用视觉显示将眼睛的标志转换为文本 (字母表,单词,句子).
- 包括语音提示,文本预测和在各种照明下无校准操作.
主要成果:
- 实现了高准确率:98%的字母,99%的单词和99%的句子形成.
- 在不同的照明条件下,在没有校准的情况下,证明了强度.
- 积极影响实验与年龄在18-35岁的参与者.
结论:
- 拟议的眼睛手势通信系统是强大而准确的.
- 它为言语障碍患者提供了显著的进步.
- 该系统有可能大大提高通信可访问性.


