RoboMNIST:使用WiFi传感,视频和音频进行多模组数据集,用于多机器人活动识别

科学领域:

• 机器人技术 机器人技术 机器人技术
• 人工智能的人工智能
• 传感器网络 传感器网络

背景情况:

• 多机器人活动识别 (MRAR) 对先进的自动化系统至关重要.
• 现有的方法通常需要专门的传感器,增加部署成本和复杂性.
• 利用机会信号,如WiFi,提供了一个具有成本效益的传感解决方案.

研究的目的:

• 介绍一个新的MRAR多式联运数据集.
• 集成WiFi通道状态信息 (CSI),视频和音频数据,以增强机器人感知.
• 促进开发强大而准确的MRAR系统.

主要方法:

• 使用两个Franka Emika机器人手臂收集数据.
• 集成的WiFiCSI,视频和音频流来自多个传感器.
• 利用现有WiFi基础设施的机会信号进行环境传感.

主要成果:

• 为MRAR开发了一个全面的多式联运数据集.
• 证明了将CSI,视觉和听觉数据结合起来,以提高识别的潜力.
• 实现了对机器人环境进行先进操作的整体理解.

结论:

• 这一新型数据集推动了机器人感知和自主系统的发展.
• 将WiFi信号重新用于传感,为开发复杂的决策能力提供了宝贵的资源.
• 多式联网方法在动态环境中提高了稳定性和准确性.