多模态深度学习模型用于使用表面电动图和上下文数据进行圆柱式掌握预测,在达到时使用上下文数据

科学领域:

• 生物医学工程 生物医学工程
• 人与机器的互动 人与机器的互动
• 机器人技术 机器人技术 机器人技术

背景情况:

• 抓取是日常活动和先进的人机系统的基础.
• 当前的掌握预测模型通常使用有限的单模数据源.
• 开发复杂的假肢和机器人手需要准确的掌握类型识别.

研究的目的:

• 通过将表面电肌图 (EMG) 信号与上下文数据集成来增强圆柱形抓取预测.
• 探索和比较不同的模型架构,用于多式联接掌握预测.
• 确定与任务和产品相关的上下文信息的预测能力.

主要方法:

• 在对象操纵任务中收集表面电肌图 (EMG) 信号和上下文数据.
• 开发了三种模型架构:基于EMG的,基于上下文的和混合多式模式的模型.
• 使用像对象大小,重量和任务高度这样的变量来评估模型性能.

主要成果:

• 背景信息,特别是与产品相关的特征 (物体大小和重量),显示出显著的预测能力.
• 结合EMG和产品上下文的混合多式模式优于使用单一数据源的模型.
• 在改善掌握预测方面,产品环境比任务环境 (任务高度) 更有影响力.

结论:

• 整合上下文数据,特别是与产品相关的信息,大大改善了基于EMG的掌握预测模型.
• 将生理信号与上下文数据相结合的多模式方法对于先进的假肢和机器人手掌控至关重要.
• 对象属性是预测抓取策略的关键决定因素.