VT-SGN:Spiking Graph神经网络用于神经形象视觉触觉融合

科学领域:

• 神经形态工程的神经形态工程
• 人工智能的人工智能
• 计算神经科学是一种神经科学.

背景情况:

• 目前的神经形态系统在训练网络中的代表性有限,视觉触觉感知的交叉模式融合不足.
• 现有的方法往往无法充分利用多式传感数据中存在的丰富的空间和时间信息.

研究的目的:

• 提出和验证一种新的双重网络,视觉触觉尖峰图形神经网络 (VT-SGN),解决神经形态视觉触觉感知方面的局限性.
• 通过集成图形和尖端神经网络来增强神经形态系统的表示能力和交叉模式融合能力.

主要方法:

• 开发了一个VT-SGN框架,将图形神经网络 (GNN) 和尖端神经网络 (SNN) 结合起来,用于联合神经形态视觉和触觉数据的利用.
• 将时空神经形态数据转换为基于taxel的触觉图形,并将图像转换为图形结构,用于GNN训练和特征提取.
• 雇佣SNN用于时间扩张和反向传播,保留生物动力学机制,同时提高代表力.

主要成果:

• VT-SGN框架有效地解决了视觉和触觉感知之间的形态差异,利用补充数据.
• 通过利用空间维度中的结构差异和保持SNN机制,证明了更好的代表性力量.
• 在三个数据集上的全面实验验验证了VT-SGN框架在神经形态感知学习中的最先进方法的优越性.

结论:

• 拟议的VT-SGN框架通过增强网络表示和交叉模式融合,在神经形态视觉触觉感知方面取得了重大进展.
• 这种方法有效地整合了各种各样的感官数据,为更复杂和生物可信的人工感知系统铺平了道路.
• VT-SGN框架显示出强大的应用潜力,需要强大的和集成的视觉触觉理解.