通过传感器融合的多模块交互框架来增强人机协作:对象识别,口头沟通,用户感兴趣的检测,手势和目光识别
Shuvo Kumar Paul1, Mircea Nicolescu1, Monica Nicolescu1
1Department of Computer Science and Engineering, University of Nevada, Reno, 1664 N Virginia St, Reno, NV 89557, USA.
Sensors (Basel, Switzerland)
|July 14, 2023
概括
本研究介绍了自然人机器人协作的多模式框架. 该系统通过使用传感器和人工智能进行直观交互来增强用户体验和任务可靠性.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 人与计算机的交互
- 人工智能的人工智能
背景情况:
- 机器人越来越多地融入日常生活,需要直观的交互接口.
- 有效的人机协作提高了用户体验和任务可靠性.
- 当前的接口往往缺乏复杂任务所需的自然性和多模式理解.
研究的目的:
- 为自然和直观的人机器人协作互动提出一个多模式框架.
- 在人机协作中增强用户体验和任务可靠性.
- 集成各种传感器和AI模块,实现无的机器人任务执行.
主要方法:
- 一个具有独立模块的多模式框架,利用图像,声音和深度传感器.
- 使用特征探测器描述器和基于同位素的技术来确定物体的位置和姿势.
- 通过深度多任务学习,用户感兴趣 (UOI) 检测和手势/眼神估计来提取口头指令.
主要成果:
- 该框架有效地整合了对象识别,口头指令解释,UOI识别和手势/眼神分析.
- 通过结合多模式输入,证明了对机器人形成结构化命令的能力.
- 实验结果证实了拟议的交互接口的有效性.
结论:
- 开发的多模式框架显著改善了人机协作互动.
- 该系统促进了自然和直观的沟通,从而提高了任务可靠性.
- 这种方法为设计先进的人机交互系统提供了强大的解决方案.
关键词:
在HRI上,HRI是HRI.这是一个协作型HRI.凝视的估计估计.这是手势识别,是手势识别.人类与人工智能之间的互动提取信息 提取信息互动界面 互动界面 互动界面多模式输入的输入.多方互动多方互动构成估计估计的估计.更多相关视频
11:53The Modular Design and Production of an Intelligent Robot Based on a Closed-Loop Control Strategy
Published on: October 14, 2017
11.7K
04:49Author Spotlight: Enhancing Post-Stroke Upper Limb Rehabilitation with Robotic Technologies for Improved Motor Recovery and Functional Outcomes
Published on: September 6, 2024
806
