形状位置感知融合电子皮肤具有自主学习的手势交互的自主学习
Qian Wang1,2, Mingming Li1,2, Pingping Guo1,2
1State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Tianjin, China.
Microsystems & nanoengineering
|July 24, 2024
概括
这项研究引入了一种用于可穿戴设备的新型电子皮肤 (PFES),该皮肤可以通过结合曲率和磁传感来捕捉手势. 这种先进的系统能够通过手势识别和触觉反来实现直观的人机交互.
科学领域:
- 材料科学 材料科学 材料科学
- 机器人技术 机器人技术 机器人技术
- 人与计算机的交互
背景情况:
- 像数据手套和电子皮肤这样的可穿戴设备使用运动跟踪来进行人类指令和行为感知.
- 当前设备中的单模传感器缺乏全面的数据来准确识别手势.
- 可穿戴设备的有限计算能力阻碍了多传感器数据融合和深度学习的部署.
研究的目的:
- 开发一种感知融合电子皮肤 (PFES),能够对人机交互进行全面的手势识别.
- 为了克服单模传感器和可穿戴设备中有限的计算资源的局限性.
- 在资源有限的平台上启用高级功能,如手势识别和触觉反.
主要方法:
- 开发了一种生物灵感的等级电子皮肤 (PFES),利用对应变和磁场敏感的磁强合金薄膜.
- PFES安装在手关节上,以感知曲率和磁性,将信号映射到双向连续分布中.
- 用于自主学习和用于可穿戴部署的模型压缩,采用了强化知识蒸方法.
主要成果:
- 该PFES系统成功地融合了曲率-磁性双重信息,以增强手势感知.
- 自主学习算法使有效的模型压缩能够在可穿戴设备上部署.
- 集成系统实现了准确的手势识别,并为跨空间操纵提供触觉反.
结论:
- 拟议的感知融合电子皮肤 (PFES) 为可穿戴设备中先进的人机交互提供了一种新的解决方案.
- 生物灵感设计和强化知识蒸方法有效地解决了当前可穿戴传感技术的局限性.
- 这项技术为更直观,更响应的人机界面铺平了道路,具有手势识别和触觉反.
