自主监督的高阶信息瓶学习尖端神经网络,以实现基于事件的强大光流估计

科学领域:

• 计算机视觉 计算机视觉
• 神经形态工程的神经形态工程
• 机器学习 机器学习

背景情况:

• 事件摄像头擅长高速,高动态范围的视觉感知.
• 基于事件的光流估计的深度学习需要更好的时间特征捕获.
• 尖端神经网络 (SNN) 提供了有效的顺序数据处理的潜力,但在概括和稳定性方面存在困难.

研究的目的:

• 引入SeLHIB,一种自我监督的学习算法,用于基于事件的强大的光流估计.
• 为了利用SNN中的信息瓶理论,改进时空特征提取.
• 在杂的视觉场景中增强概括性和强度.

主要方法:

• 开发了一种基于尖峰的自主监督学习算法,SeLHIB,利用信息瓶理论.
• 员工非线性和高阶相互信息,以加强信息提取和减少冗余.
• 在各种噪音条件下使用基于事件的摄像头输入来训练和评估算法.

主要成果:

• SeLHIB在不同噪音水平的光流估计中显示出显著增强的概括性和稳定性.
• 实现了大量的节能:与模拟神经网络 (ANN) 相比减少90.44%,与尖端神经网络 (SNN) 相比减少45.70%.
• 性能优于具有可比尺寸和架构的ANN实现,显示AEE (MVSEC) 低33.78%,RSAT (ECD) 低5.96%,RSAT (HQF) 低6.21%.

结论:

• SeLHIB代表了SNNs在基于事件的视觉中的第一个自我监督的信息瓶学习策略.
• 提出的方法有效地解决了当前SNNs在光流任务的概括性和稳定性的局限性.
• 对于使用事件摄像头的节能和强大的视觉感知系统,SeLHIB提供了一个有前途的方向.