多模态对比学习用于识别网络疾病使用大脑连接图表表示

科学领域:

• 神经科学是一个神经科学.
• 计算机科学 计算机科学
• 虚拟现实 虚拟现实 虚拟现实

背景情况:

• 网络疾病对虚拟现实 (VR) 用户体验和沉浸有负面影响.
• 目前的网络疾病检测方法由于有限的模式间关系建模而难以准确.

研究的目的:

• 开发一种先进的多式模式对比学习方法,以改善网络疾病的识别.
• 为了更好地检测,增强生理,视觉和运动数据之间的关系的建模.

主要方法:

• 引入了大脑连接图表表示 (BCGR) 来捕捉跨模式的连接模式.
• 开发了E-BCGR (EEG),MV-BCGR (视频/运动) 和S-BCGR (标准化分解).
• 通过使用图形对比学习提出了一个受连接限制的对比融合模块.

主要成果:

• 提出的方法显著优于现有的最先进的方法.
• 在准确性,灵敏性,特异性和AUC指标方面实现了卓越的性能.
• 证明了BCGR和对比性聚变模块的有效性.

结论:

• 这种新的多式模式对比学习方法有效地识别了网络疾病.
• 该BCGR表示和连接受约束的融合增强检测准确性.
• 开发的数据集和方法为未来对VR网络疾病缓解的研究铺平了道路.