DVS-PedX:基于合成和真实事件的行人数据集
Mustafa Sakhai1, Kaung Sithu2, Min Khant Soe Oke2
1Faculty of Computer Science, Electronics and Telecommunications, AGH University of Science and Technology, 30-059, Krakow, Poland. msakhai@agh.edu.pl.
Scientific data
|March 5, 2026
概括
一个新的数据集,DVS-PedX,在各种条件下使用事件摄像头进行行人检测和意图分析. 基线尖端神经网络模型显示出有希望的结果,强调了基于事件的感知研究中需要域调整的需要.
科学领域:
- 神经形态工程的神经形态工程
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
背景情况:
- 事件摄像头,如动态视觉传感器 (DVS),以异步的方式捕捉亮度变化,与传统基于的摄像头相比,在低延迟,高动态范围和运动稳定性方面具有优势.
- 对于自动驾驶系统来说,行人检测和意图预测至关重要,尤其是在恶劣天气和变化的照明等具有挑战性的环境条件下.
研究的目的:
- 介绍DVS-PedX,一种用于行人检测和横跨意图分析的新型神经形态数据集.
- 促进基于事件的感知研究,以提高行人安全和意图预测系统.
- 提供一个全面的资源来研究基于事件的视觉中的模拟与现实差距.
主要方法:
- DVS-PedX包括两个来源:来自CARLA模拟器 (198个序列) 的合成事件流和使用v2e (346片段) 转换为事件流的真实世界JAAD车载摄像头视频.
- 数据包括配对的RGB,DVS事件 (33ms积累),以及交叉事件的二进制标签.
- 基线实验使用与SpikingJelly实现的尖端神经网络 (SNN) 进行性能评估.
主要成果:
- 尖端神经网络在合成验证集上获得了86.37%的F1得分.
- 该研究发现了显著的模拟与现实差距,表明在将在合成数据上训练的模型转移到现实世界的场景方面存在挑战.
- 数据集提供原始事件文件 (AEDAT 2.0/4.0),DVS视频文件和元数据,用于灵活的数据处理和模型开发.
结论:
- DVS-PedX是推动基于事件的行人安全和意图预测研究的宝贵资源.
- 观察到的模拟与真实差距强调了域调整和多式联络融合技术对于强大的基于事件的感知的重要性.
- 该数据集旨在加速用于自主应用的神经形态感知系统的开发.
