楼梯网络:用于人机机器人运动的楼梯视觉识别
Andrew Garrett Kurbis1,2, Dmytro Kuzmenko3, Bogdan Ivanyuk-Skulskiy3
1Institute of Biomedical Engineering, University of Toronto, Toronto, Canada. garrett.kurbis@utoronto.ca.
Biomedical engineering online
|February 15, 2024
概括
楼梯网倡议为机器人开发了深度学习模型,使用自我中心视觉来识别楼梯. 这些模型实现了高精度和快速推断速度,帮助机器人假肢和外骨.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 人类-机器人行走,特别是在复杂的地形上像楼梯这样的假肢和外骨架,是一个重大的挑战.
- 自我中心视觉在检测行走环境方面提供了独特的优势,这对于改善楼梯导航至关重要.
研究的目的:
- 推出StairNet倡议,旨在促进深度学习模型的开发,以对现实世界的楼梯环境进行视觉感知.
- 提供STAIRNET进展的全面概述,包括数据集开发和算法性能.
主要方法:
- 开发一个大规模的数据集,包含超过515,000个手动标记的图像,用于楼梯识别.
- 评估各种深度学习算法 (2D/3D CNN,CNN-LSTM,ViT),培训方法 (监督,半监督) 和部署策略 (移动,嵌入式).
主要成果:
- 阶梯网模型实现了高分类精度,高达98.8%,在精度和模型大小之间进行可适应的权衡.
- 深度学习模型展示了快速的推断速度 (例如,在带有加速器的移动设备上2.8毫秒),但在定制智能眼镜上 (1.5秒) 的速度较慢.
结论:
- 楼梯网作为一个有效的平台,用于开发和研究深度学习模型,用于人机器人行走环境中的视觉感知,重点是楼梯识别.
- 这项研究支持下一代基于视觉的控制系统的发展,用于移动辅助技术,如机器人假肢和外骨.
