基于深度学习的眼写识别与改进的预处理和数据增强技术
Kota Suzuki1, Abu Saleh Musa Miah1, Jungpil Shin1
1School of Computer Science and Engineering, The University of Aizu, Aizuwakamatsu 965-8580, Fukushima, Japan.
Sensors (Basel, Switzerland)
|October 29, 2025
概括
这项研究介绍了一种新的基于视觉的眼睛写字系统,使用网络摄像头和深度学习. 它在识别眼写字符方面达到很高的准确性,为那些有肌肉控制困难的人提供了更容易访问的沟通工具.
科学领域:
- 辅助技术 辅助技术 辅助技术
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 传统的眼睛追踪系统 (EOG,红外线) 是准确的,但昂贵和侵入性的.
- 基于视觉的系统更容易获得,但在眼睛写作识别方面尚未得到充分探索.
- 来自自然眼动的不一致的信号长度阻碍了识别的准确性.
研究的目的:
- 开发一种新的,准确的,可访问的基于视觉的眼字识别系统.
- 为了应对信号长度变化的挑战,并提高识别稳定性.
- 为了创建一个新的网络摄像机捕获的数据集,用于眼睛写作研究.
主要方法:
- 利用网络摄像机捕获的数据集,并引入离散里埃转换 (DFT) 来进行长度规范化.
- 采用混合深度学习模型,将1D卷积神经网络 (CNN) 和时间卷积网络 (TCN) 结合起来.
- 集成的数据增强和初始点规范化,以提高模型的稳定性.
主要成果:
- 实现了高准确度:97.68%在新的网络摄像机数据集上,94.48%在日语卡塔卡纳上,98.70%在EOG数据集上.
- 基于DFT的规范化标准化了输入长度,提高了效率和稳定性.
- 混合CNN-TCN模型有效地捕捉了眼睛写作的空间和时间特征.
结论:
- 拟议的系统为基于视觉的眼字识别提供了一个高效和强大的解决方案.
- 新的预处理和深度学习方法显著超过现有方法.
- 这项工作通过提供更容易获得的沟通工具来推进辅助技术.
