使用深度学习驱动的可伸缩触觉阵列捕捉与可变形物体的强烈相互作用

科学领域:

• 机器人和人机交互的人机交互
• 传感器技术 传感器技术
• 机器学习 机器学习

背景情况:

• 准确地捕捉手物互动,尤其是可变形物体,对于虚拟现实和机器人等应用至关重要.
• 隐蔽物体变形在复制完整的手物体状态和几何学方面存在重大挑战.
• 现有的方法难以应对动态,现实世界的操纵任务的复杂性.

研究的目的:

• 开发一个强大的视觉触觉系统,用于记录和跟踪动态手-物体状态在操纵过程中.
• 为了提高与可变形物体相互作用时的力测量的准确性.
• 为了能够精确地重建各种物体类型和可变形性的手物体相互作用.

主要方法:

• 使用可伸缩触摸手套,具有1152个力感应通道,用于高分辨率数据捕获.
• 开发了一个视觉触觉联合学习框架来处理连续的感官数据.
• 实施了一种主动抑制方法,具有对称响应检测和适应性校准,以减轻应变干扰.

主要成果:

• 在力测量中获得了97.6%的准确性,比基线方法提高了45.3%.
• 在24个具有不同可变的物体中显示出平均1.8厘米的重建错误.
• 成功重建了动态的手对象状态,捕捉了复杂的操纵行为.

结论:

• 开发的视觉触摸系统在准确捕捉可变形物体的强力相互作用方面取得了重大进展.
• 验证了系统在各种对象属性上复制人类操纵知识的普遍能力.
• 这项技术有望提高虚拟现实,远程医疗和机器人的现实性和能力.