通过皮肤输入开发基于大脑的赤手人机交互
IEEE transactions on cybernetics
|March 4, 2025
概括
"MetaSkin"是一种新的神经触觉接口,它从皮肤上的触摸和运动手势中解码神经信号,以实现直观,无眼睛的移动交互. 这种脑-计算机接口通过将自身感知与深度学习相结合,推进了人机交互.
科学领域:
- 人与计算机的交互
- 神经科学是一个神经科学.
- 可穿戴技术可穿戴技术
背景情况:
- 由于当前的目光/手势系统的局限性,开发直观的移动人机交互 (HMI) 是一个挑战.
- 现有的系统往往需要不断的视觉关注,互动区域有限,或需要重的硬件.
- 需要新的接口,使自然,无眼睛的互动.
研究的目的:
- 介绍MetaSkin,一个新的神经触觉接口,将神经信号与皮肤互动集成在一起.
- 通过利用人类自身感知来实现赤手无眼互动.
- 开发一个深度学习框架来解码触摸和运动手势的神经信号.
主要方法:
- 开发了一个深度学习框架,利用多尺度时间光谱特征表示和选择性特征注意.
- 收集了来自12名参与者进行皮肤触摸和运动手势的神经信号数据.
- 对各种分类任务在离线和伪线上设置中评估系统性能.
主要成果:
- 实现了高离线精度:触摸位置81.95%,运动类型71.00%,组合分类46.08%.
- 展示了强大的伪在线性能:触摸开始的99.43%,触摸位置的80.34%,运动类型的67.02%.
- 神经生理学分析证实了不同的感觉运动皮质激活模式,验证了多尺度方法.
结论:
- MetaSkin有效地解码神经信号,用于皮肤上的手势,使眼睛免费的HMI.
- 多尺度深度学习方法成功地捕获了复杂的神经动态.
- 这项工作为先进的神经适应接口和大脑与计算机接口设计的范式转变铺平了道路.
