由大脑启发的多感官集成神经网络,通过时空动态和深度学习实现交叉模式识别
1School of Electrical and Information Engineering, Tianjin University, Tianjin, 300072 China.
Cognitive neurodynamics
|December 23, 2024
概括
这项研究介绍了一种生物启发的多感官集成神经网络 (MINN),该神经网络有效地将视觉和音频数据结合起来进行识别. 在处理多式联运信息方面,MINN表现出强大的性能,为大脑启发的人工智能提供了洞察力.
科学领域:
- 计算神经科学是一种神经科学.
- 人工智能的人工智能
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 大脑中的多感官集成增强了认知功能.
- 现有的模型往往难以灵活整合各种传感输入.
研究的目的:
- 提出一个生物灵感的多感官集成神经网络 (MINN),用于识别多式联络信息.
- 研究神经网络中交叉模式识别的计算原理.
主要方法:
- 开发了一个深度学习模型,用于特征提取并行卷积神经网络 (CNN) 和用于集成的循环神经网络 (RNN).
- 训练网络使用合成数据进行数字识别任务.
- 对噪音和异步输入的评估强度.
主要成果:
- CNNs从视觉和音频输入中提取了正交的空间和时间特征.
- 该RNN形成了一个稳定的多元组与吸引器,使准确的交叉模式识别.
- 在灵活整合和识别多感官信息方面,MINN表现出卓越的表现.
结论:
- 在MINN有效地整合视觉和音频信息,模仿生物过程.
- 该模型为理解多感官集成机制提供了一个框架.
- 这项工作有助于开发由大脑启发的人工智能.
