基于混合模型的宇航员手势和眼睛运动信号的双模式信息协调整合的交互式方法研究

科学领域:

• 机器人技术 机器人技术 机器人技术
• 人与计算机的交互
• 太空探索技术 太空探索技术

背景情况:

• 开发高效的人机交互 (HRI) 对于复杂的任务,如月球表面的探索和建设至关重要.
• 目前的单模交互方法 (手势或眼动) 在指挥复杂性和效率方面存在局限性.
• 对于外星应用,需要一个轻量级,实时,准确的HRI模型,具有强大的反干扰.

研究的目的:

• 开发和评估一种新的双式人机交互模型,将宇航员的手势和眼动信号整合起来.
• 在模拟的月球环境中提高复杂指令发行的效率和准确性.
• 为了证明双模协作对单模交互在空间中的HRI的优越性.

主要方法:

• 使用单眼相机输入特征信息,实现信号采集和处理融合.
• 优化了目标检测模型,将注意力机制集成到YOLOv4中,并过动作模糊.
• 使用神经网络来识别学生的中心坐标以基于眼动的交互.
• 在一个轻量级的协作模型中融合了手势和眼睛运动信号,用于复杂的命令交互.
• 增强和扩展了训练数据集,以模拟现实的月球空间相互作用场景.

主要成果:

• 双模协作模型显著提高了效率,与单模交互相比,命令执行时间减少了79%至91%.
• 集成模型展示了增强的功能信息挖掘,从而更好地区分复杂的命令和更强大的反干扰能力.
• 即使在各种图像干扰条件下,也保持了高的整体判断准确度,在83%至97%之间.
• 实验结果验证了连锁手势和眼动交互模型的有效性.

结论:

• 拟议的双式人机交互模型,融合了宇航员的手势和眼睛的运动,为复杂的指挥交互提供了更有效和更强大的解决方案.
• 这种方法在速度,准确性和对干扰的弹性方面明显优于单模交互,使其适合月球探测.
• 轻量级和有效的设计验证了其在未来的太空任务和建筑工作中实际应用的潜力.