使用基于视觉的人类手部跟踪来进行关节型机器人手臂的交互式远程操作
Marius-Valentin Drăgoi1, Aurel-Viorel Frimu2, Andrei Postelnicu1
1Faculty of Industrial Engineering and Robotics, National University of Science and Technology POLITEHNICA Bucharest, 060042 Bucharest, Romania.
Biomimetics (Basel, Switzerland)
|February 26, 2026
概括
本研究介绍了一种基于视觉的远程操作系统,用于仅使用笔记本电脑摄像头和手部跟踪来控制机器人手臂. 这种可访问的框架在不需要专门的硬件的情况下实现了机器人操纵任务的高成功率.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 计算机视觉 计算机视觉
- 人与机器人的交互
背景情况:
- 现有的远程操作系统通常需要专门的传感器或可穿戴设备,阻碍了可访问性和可扩展性.
- 直观的人机交互对于推进机器人操纵和控制至关重要.
研究的目的:
- 开发和评估基于视觉的远程操作框架,用于使用标准笔记本电脑相机控制一个关节式机器人手臂.
- 通过人手跟踪和手势识别实现实时机器人手臂控制.
主要方法:
- 使用实时地标估计管道用于手势和手势提取.
- 通过基于校准的策略将动态描述符 (手掌位置,尺度,手腕旋转,俯仰,伸缩手势) 映射到机器人联合命令中.
- 实施了时间平滑和限速更新,以提高稳定性和响应性.
主要成果:
- 在与42名参与者进行的人在循环评估时,成功率达到了88%.
- 证明成功试验的平均完成时间为53.48±18.51秒,放置误差为6.73±3.11厘米.
- 在1-5级别上报告了2.67±1.20的易用性得分.
结论:
- 拟议的基于视觉的框架使得在没有专门的硬件的情况下实现可行的交互式远程操作.
- 该系统提供了一个低成本的平台,在机器人操纵,教育和快速原型设计方面具有潜在的应用.
