在SAR行动中提高无人地面车辆的性能:集成的手势控制和深度学习框架,以优化受害者检测
Muhammad Hamza Zafar1, Syed Kumayl Raza Moosavi1, Filippo Sanfilippo1,2
1Department of Engineering Sciences, University of Agder, Grimstad, Norway.
Frontiers in robotics and AI
|July 3, 2024
概括
这项研究引入了一种用于灾难救援机器人的新系统,该系统使用深度学习来检测受害者和手势控制. 这项技术增强了无人地面车辆的能力,以实现更快,更有效的搜救行动.
科学领域:
- 机器人和人工智能 机器人和人工智能
- 灾害管理和搜救 (SAR) 工作
背景情况:
- 传统的无人地面车辆 (UGV) 在混乱的灾难环境中面临局限性,在机动性和受害者识别方面扎.
- 现有的SAR技术往往缺乏在恶劣的照明和碎片等条件下有效运行所需的先进功能.
研究的目的:
- 开发一个综合的技术框架,以提高UGV在灾难场景中的情境意识和受害者检测.
- 通过手势来实现UGV的直观实时控制,以便在复杂的环境中精确导航.
主要方法:
- 开发了Meerkat优化算法 - 堆叠的卷积神经网络 - 双长期短期记忆门式反复单元 (MOA-SConv-Bi-LSTM-GRU) 模型,用于高性能手势识别.
- 集成YOLOv8深度学习模型,在专业数据集上进行训练,以在各种不利条件下准确检测人类受害者.
- 在模拟的紧急情况中测试集成系统,以验证导航和受害者检测能力.
主要成果:
- 在手势检测方面,MOA-SConv-Bi-LSTM-GRU模型实现了显著的性能指标 (准确度,精度,回忆,F1得分) 约为0.9866%.
- 综合系统在导航障碍物和快速定位视力障碍者在模拟环境中的受害者方面表现出了卓越的技巧.
- 验证了系统在杂乱,照明不足和封闭条件下有效运行的能力.
结论:
- 拟议的框架通过协同结合基于手势的控制,深度学习和SAR操作的机器人技术,提供了一种开创性的解决方案.
- 集成技术显著提高了UGV在灾难场景中的性能,优化了拯救生命的结果.
- 这项研究为未来在SAR技术方面取得更高效,更可靠的进展奠定了基础.
