使用神经网络模型进行人类检测和识别的无人机
Yawar Abbas1, Naif Al Mudawi2, Bayan Alabdullah3
1Faculty of Computer Science and AI, Air University, Islamabad, Pakistan.
Frontiers in neurorobotics
|December 19, 2024
概括
这项研究引入了一种新的方法,用于在无人机录制的视频中识别人类行为. 该方法通过处理RGB,通过YOLOv9检测人体,并通过深度神经网络分析骨架数据来实现高精度.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 人类行为识别对于机器理解行为至关重要.
- 基于无人机的RGB视频提出了诸如动态背景,运动模糊和遮蔽等挑战.
- 现有的方法难以应对空中拍摄的复杂性.
研究的目的:
- 在挑战性无人机录制的RGB视频中开发一种强大的人类动作识别方法.
- 在现实场景中提高动作识别系统的准确性和可靠性.
- 解决当前处理各种人体运动和视频条件的方法的局限性.
主要方法:
- 视频分段和预处理以提高前景对象的可见性.
- 使用YOLOv9算法进行人体检测.
- 骨架提取,特征工程 (位置,角度,距离) 和3D点云生成.
- 使用内核差异分析 (KDA) 优化数据,并通过深度卷积神经网络 (CNN) 进行分类.
主要成果:
- 拟议的模型在UAV-Human上实现了0.68的动作识别精度,在UCF上为0.75,在Drone-Action数据集上为0.83.
- 有效地应对诸如运动模糊,闭塞和不同视角等挑战.
- 与基准数据集上的现有方法相比,表现出优异的性能.
结论:
- 开发的方法在从无人机录像中识别人类行为方面取得了重大进展.
- 这种方法有效地克服了与空中视频分析相关的常见挑战.
- 这项工作为监视,机器人和娱乐领域更复杂的人类意识系统铺平了道路.
