语义物理传感器融合用于双臂康复中安全的物理人机交互

科学领域:

• 机器人技术 机器人技术 机器人技术
• 人工智能的人工智能
• 人与机器人的交互

背景情况:

• 在康复中,安全的物理人机交互 (pHRI) 需要强大的感知和快速决策,尽管传感器数据不可靠.
• 现有系统在与异质传感器输入和实时安全控制要求作斗争.

研究的目的:

• 开发一个多式传感器融合安全框架,用于在康复中实时控制pHRI.
• 整合物理状态估计,语义融合和边缘部署的大型语言模型 (LLM) 以提高安全性.

主要方法:

• 基于动态的虚拟传感方法估计内部关节扭矩为18.5%MAE.
• 一个异步的语义状态池融合了视觉,力,姿势和人类线索,处理传感器延迟.
• 一个边缘LLM处理了用于控制参数映射的离散安全决策的多式联络令牌.

主要成果:

• 该框架实现了安全关键事件的可靠检测,并具有较低的紧急错误检测率.
• 在边缘硬件上,端到端的决策延迟约为223ms.
• 在现实世界康复机器人实验中,对冲击,用户不稳定和视觉阻塞有了有效的反应.

结论:

• 拟议的框架提供了一个实用的解决方案,用于实时监测康复中的pHRI安全性.
• 整合LLM和传感器融合提高了人机协作中的安全性和可靠性.
• 该方法显示了提高机器人康复系统的安全性和有效性的巨大潜力.