适应模式平衡在线知识蒸用于基于脑眼计算机的模糊物体检测

科学领域:

• 神经科学和计算机视觉
• 人工智能和机器学习

背景情况:

• 通过脑计算机接口 (BCI) 进行高级认知测量至关重要.
• 将BCI与计算机视觉集成,在空中图像中提供了强大的模糊目标检测.
• 现有的方法与异质的多式联运数据作斗争,需要新的方法.

研究的目的:

• 开发一个基于脑眼和计算机的物体检测系统,用于为数次拍摄的空中图像分析.
• 提出一种自适应模式的平衡在线知识蒸 (AMBOKD) 方法,用于使用合的EEG图像数据识别模糊物体.
• 为了提高物体检测多模式融合的性能和稳定性.

主要方法:

• 一个脑眼计算机系统使用区域提案网络 (RPN) 和基于眼睛跟踪的慢串行视觉呈现 (ESSVP) 来唤起与事件相关的潜在信号 (ERP).
• 构建EEG图像数据对,结合眼睛运动数据.
• 实施AMBOKD与多头关注模块的功能融合和端到端在线知识蒸 (OKD) 的同时培训和模式之间的相互学习.
• 一个自适应模式平衡模块,用于动态调整重量和训练梯度,以实现多式模式平衡.

主要成果:

• 拟议的AMBOKD方法在模糊物体识别方面,与先进的方法相比,显示出更高的效率和优越性.
• 在公共数据集和现实场景上的实验验证了系统的可靠性和实用性.
• 通过多头注意力和OKD实现的融合模式,实现了全面而强大的特征表示.

结论:

• 开发的脑眼电脑系统和AMBOKD方法提供了一种新且有效的解决方案,用于在空中图像中检测几次拍摄的模糊目标.
• 适应性模式平衡和在线知识蒸技术显著提高了多式联性能.
• 通过在各种场景中进行严格的测试,证实了该系统的实际应用性.