相关实验视频
Updated: Jul 30, 2026
10:41
VisualEyes: A Modular Software System for Oculomotor Experimentation
Published on: March 25, 2011
13.3K
视觉 - 语言远程阻抗接口:通过眼睛跟踪和语音,实现通过眼睛跟踪和语音进行身体互动的半自动控制
Henk H A Jekel1, Alejandro Díaz Rosales1,2, Luka Peternel1
1Department of Cognitive Robotics, Delft University of Technology, Delft, Netherlands.
Frontiers in robotics and AI
|February 25, 2026
概括
这项研究引入了一种新的视觉 - 语言远程阻抗接口,该接口使用目光和语音命令来控制远程机器人硬度. 这提高了复杂的物理任务的人机交互.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 人与计算机的交互
- 控制系统 控制系统
背景情况:
- 远程操作需要用于复杂任务的直观控制接口.
- 现有的方法往往缺乏精确的远程操纵所需的细微反.
- 整合视觉上下文和自然语言可以提高操作员对指令的理解.
研究的目的:
- 介绍一个视觉 - 语言远程阻抗接口,用于指挥3D刚性圆体.
- 为了使操作员能够通过目光和口头输入远程控制机器人的硬度.
- 为了提高远程操作机器人任务的精度和直观性.
主要方法:
- 使用眼睛追踪器来检测操作员的目光,以获得上下文理解.
- 与GPT-4o集成了一个视觉语言模型 (VLM),用于处理口头命令.
- 开发了一个远程阻抗接口,以基于组合输入生成刚度矩阵.
- 通过触觉装置 (Force Dimension Sigma.7) 和机器人手臂 (Kuka LBR iiwa) 进行实验.
主要成果:
- 展示了接口能够将操作员的目光和语音转化为机器人硬命令的能力.
- 确定了视觉语言接口的最佳提示配置.
- 通过滑进槽任务验证了界面的功能,展示了控制功能.
结论:
- 视觉语言远程阻抗接口有效地结合了眼神和语言,用于微妙的机器人控制.
- 这种方法为远程操作提供了一种更直观,更了解环境的方法.
- 未来的工作可以在复杂的机器人操纵任务中探索更广泛的应用.
关键词:
凝视跟踪 追踪 追踪 追踪阻抗控制控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制阻抗控制电话操作是远程操作.语言互动 语言互动视觉语言模型的模型.更多相关视频
13:44Haptic/Graphic Rehabilitation: Integrating a Robot into a Virtual Environment Library and Applying it to Stroke Therapy
Published on: August 8, 2011
14.7K
11:06A Human-machine-interface Integrating Low-cost Sensors with a Neuromuscular Electrical Stimulation System for Post-stroke Balance Rehabilitation
Published on: April 12, 2016
10.9K
