使用深度学习识别捕捉模式,用于人机协作
Pedro Amaral1, Filipe Silva1, Vítor Santos2
1Department of Electronics, Telecommunications and Informatics (DETI), Institute of Electronics and Informatics Engineering of Aveiro (IEETA), University of Aveiro, 3810-193 Aveiro, Portugal.
Sensors (Basel, Switzerland)
|November 14, 2023
概括
这项研究引入了一个新的人工智能框架,用于辅助机器人识别使用手和手指关节数据的人类操作员持有的物体. 该研究比较了深度学习模型,显示了有效的对象识别,以改善人机协作.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 协作机器人需要对共享任务进行预测和预期的能力.
- 机器人准确的对象识别对于理解人类操作员的意图至关重要.
研究的目的:
- 开发一种基于学习的框架,让辅助机器人能够使用手和手指关节模式识别抓住的物体.
- 为了比较卷积神经网络 (CNN) 和变压器对象识别的性能.
主要方法:
- 使用MediaPipe来检测RGB图像中的手地标.
- 开发了一个深度的多类分类器,以从提取的关键点预测对象.
- 根据准确性,精度,回忆和F1分数来评估CNN和变压器架构.
主要成果:
- 拟议的框架展示了有效的对象识别能力.
- 两种CNN和变压器模型都显示了不同的性能指标.
- 获得了对影响模型概括的因素的见解.
结论:
- 开发的框架成功使辅助机器人能够识别人类操纵的物体.
- 该研究提供了对这项任务的深度学习架构的比较分析.
- 研究结果强调了在人机交互系统中概括的重要性.
