重新设计多模式交互:适应性信号处理和跨模式交互,以实现无手电脑交互
Bui Hong Quan1, Nguyen Dinh Tuan Anh1, Hoang Van Phi1
1Faculty of Information Technology, VNU-University of Engineering and Technology (VNU-UET), Hanoi 10000, Vietnam.
Sensors (Basel, Switzerland)
|September 13, 2025
概括
这项研究引入了一种新的三模人机交互 (3M-HCI) 系统,将面部,声音和眼睛的动作集成在一起,以改进无需手的计算机控制. 新系统提高了准确性和速度,提供了强大的辅助技术解决方案.
科学领域:
- 辅助技术 辅助技术 辅助技术
- 人与计算机的交互
- 生物医学工程 生物医学工程
背景情况:
- 目前的无手电脑交互方法,如基于摄像头和基于语音的系统,在现实世界中面临着响应能力和准确性的挑战.
- 现有的解决方案通常依赖于有限的输入方式,例如面部表情,头部运动或语音命令.
- 现有系统的局限性阻碍了它们作为残疾用户可靠的辅助接口的有效性.
研究的目的:
- 介绍一种新的三模人机交互 (3M-HCI) 系统,该系统集成了面部,语音和基于眼睛的输入.
- 为了提高准确性和减少无手电脑交互的延迟.
- 与现有解决方案相比,开发一个更强大,更响应的辅助接口.
主要方法:
- 开发了一种新的信号处理管道,用于多模式输入的动态集成.
- 实施了跨模式协调机制,以同步面部,语音和基于眼睛的数据.
- 使用实验评估来比较3M-HCI性能与最近的无手交互解决方案.
主要成果:
- 3M-HCI系统显示了增强的识别精度和减少的交互延迟.
- 实验结果显示,3M-HCI在速度和精度方面表现优越,与现有的无手解决方案相比.
- 综合方法有效地解决了单模式或较少集成系统的局限性.
结论:
- 3M-HCI系统在无手式计算机交互方面取得了重大进步.
- 这种新的方法显示出强大的潜力,作为一个强大的和高效的辅助接口.
- 进一步开发和应用3M-HCI可以极大地有利于需要替代计算机访问方法的用户.
