不对称的多任务学习可用于可解释的凝视驱动的抓取行动预测

科学领域:

• 机器人技术 机器人技术 机器人技术
• 人与计算机的交互
• 人工智能的人工智能

背景情况:

• 预测人类掌握意图对于辅助机器人至关重要.
• 人类的注意力,特别是凝视固定,是意图的强有力的指标.
• 现有的行动预测和掌握预测方法有局限性.

研究的目的:

• 开发一个多任务系统,同时预测人类的注意力和掌握行动.
• 改进对运动和认知障碍的人士的辅助机器人技术.
• 为了利用人类的视觉注意力模式,提高行动预测.

主要方法:

• 一个多任务的深度学习系统,分析第一人称视频和眼睛跟踪数据 (凝视固定).
• 模拟视觉注意力作为分立状态之间的竞争过程,代表视线运动模式.
• 采用非对称的多任务学习方法,限制多任务损失,注意力预测有助于掌握行动预测.

主要成果:

• 拟议的模型在三个自我中心的行动预测数据集上实现了最先进的性能.
• 取得的平均精度为0.569 (GITW) 和0.524 (沙龙).
• 在隐形数据集上显示了高准确度 (89.2%) 和成功率 (51.7%).

结论:

• 多任务系统有效地预测人类的注意力和掌握意图.
• 具有受约束损失的非对称学习方法提高了动作预测的准确性.
• 这项研究在辅助应用中为人机交互提供了重大进展.