一个基于语义视觉SLAM的可穿戴视障辅助系统,用于掌握操作
Fei Fei1, Sifan Xian1, Ruonan Yang1
1College of Automation Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 211100, China.
Sensors (Basel, Switzerland)
|June 19, 2024
概括
这项研究引入了一种新的视觉辅助系统,用于视力障碍者,增强在桌面环境中对象的把握. 该系统使用语义视觉SLAM和触觉反来改善导航和交互.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 计算机视觉 计算机视觉
- 人与计算机的交互
背景情况:
- 由于缺乏视觉感知,视觉障碍者在日常任务中面临重大挑战.
- 现有的辅助技术往往缺乏用于复杂的交互任务 (如对象掌握) 所需的整合.
研究的目的:
- 为视力受损者开发和验证一个全面的视觉辅助系统.
- 帮助用户在桌面环境中感知和把握目标对象.
主要方法:
- 通过合并ORB-SLAM2和YOLO V5s来实现语义视觉SLAM (同时定位和映射) 算法,用于环境映射.
- 将深度摄像头和振动阵列反集成到可穿戴设备中,用于触觉指导.
- 使用一个多博特魔术师操纵器来协助对象抓取任务.
主要成果:
- 语义视觉SLAM算法在本地化和语义映射方面表现出强大的性能.
- 模拟视力受损用户的实验成功验证了系统在对象抓取任务中的可行性和有效性.
- 综合系统为目标获取提供了有效的定向信息和实物援助.
结论:
- 拟议的系统显著提高视力障碍者与环境互动的能力.
- 这项技术为改善视力障碍者独立性和任务完成提供了一个有希望的解决方案.
- 先进的感知,触觉反和机器人操纵的融合代表了辅助技术的关键进步.
